葛店小学张洪雨如果你给现在的文生图模型丢一句“草地上有三只柯基幼犬，左边那只戴着蓝色项圈、右边那只在打滚”，大概率收到的是一张让你哭笑不得的图：三只狗变成了一只三头怪，或者三只柯基里混进了一只柴犬，再或者三只全都戴上了蓝项圈。多实例生成（Multi-Instance Generation）就是专门解决这种“让模型把多个同类型对象画对、画准、画得各归各位”的问题，而 MIGC（Multi-Instance Generation Controller）这类控制器方案，正是冲着这个痛点来的。
我最近把多实例控制器的思路搬到自己常用的生成流程里试了试，前后折腾了一个多月，踩了不少坑，也把它的结构逻辑理得比较清楚了。这篇文章不打算做那种“理论综述式”的讲解，而是从一个实际使用者的角度，说说多实例生成到底难在哪、MIGC 用了一种什么样的控制机制、我在数据构造、训练、推理和问题排查里验证到的关键细节。无论你是做可控生成研究、搭 AI 绘画工作流，还是只想把“好几只同款物体”这个需求解决掉，都应该能从里面拿到一些能直接用的东西。
1. 多实例生成到底难在哪：先看痛点和根因
1.1 三个最容易翻车的真实场景
多实例生成听起来很简单，就是“画面里有 N 个同类对象嘛”。但真上手用过就会发现，这是当前文生图模型最典型的短板之一。我在实际测试里总结了三个最高频的翻车场景。
第一个是数量失控。明明要求三只柯基，模型输出了两只半，第三只直接和背景糊在一起，或者把一只狗的身体画成了三个头。数量错乱在纯文本驱动模式下非常顽固，你反复改 prompt 里的“三 only”“exactly 3”都不太管用。原因后面会说，本质上是模型根本没有什么“数数”的机制。
第二个是属性串扰。多实例场景里经常给每个实例指定不同属性，比如“左边黑猫、右边白猫、中间黄猫”。模型生成出来的三只猫很容易共享同一套属性，要么全是黑的，要么黑猫身上出现黄毛，要么三只都长着同一只猫的脸。属性绑定（attribute binding）在单实例里已经是个老大难问题，一旦实例数量上来，交叉污染只会更严重。
第三个是重叠区域溃变。只要多个实例在空间上有遮挡或者距离比较近，模型就会在边界处把两个对象熔成一体，中间出现各种说不清的纹理。这也是为什么很多多实例生成的 demo 图都把对象摆得很开、离得很远，实际上用户的需求往往不是那种整整齐齐排排坐的构图，而是有交互、有遮挡的真实场景。
1.2 从模型机制看为什么数量控制天生困难
要理解 MIGC 这类控制器为什么存在，得先知道基础文生图模型在多实例场景下为什么会“瞎”。
现在主流扩散模型的核心是 cross-attention：文本经过编码器变成一串 token，图像侧 UNet 的每个特征位置都会和这些 token 算注意力，决定“这个像素区域应该更多响应哪个词”。听起来很美好，但问题在于这套机制没有实例划分的概念。当你输入“三只柯基犬在草地上玩耍”时，文本侧拿到的是一个短语级别的语义混合体，模型可以把“柯基犬”这个语义映射到图的多个区域，但它不知道“三”是一个需要精确满足的计数约束。注意力图往往呈现一种“雨露均沾”的状态，所有与柯基相关的 token 都分散到图像各处，结果就是数量飘忽、位置随机。
可以打个比方：你让一个没受过计数训练的画家画三只狗，他脑子里只有“狗”这个原型，画到第二只、第三只时就会开始自由发挥，或者为了省事直接叠在一起。基础扩散模型就是这位画家，它擅长把“狗的质感”“狗的形态”画得很像，但缺一个“项目管理”的意识——哪个实例在哪个位置、占多大区域、带什么独立属性。
另外，文本编码器对数字信息的捕捉也很弱。 “三”在语义空间里是一个很弱的抽象概念，和“柯基”“草地”这种有强视觉对应的词完全不是一个量级。这就是为什么直接靠 prompt 工程解决多实例生成极不稳定，你偶尔能撞对一次两次，但没法形成稳定可控的生产流程。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. MIGC 的核心设计：控制器是怎么把“好几个”管住的
2.1 架构思路：把“一串文本”拆成“全局语义 + 实例子句”
MIGC 给我的第一印象是它的思路非常直白：既然模型搞不清多实例，那就在生成过程中显式告诉它“现在有几个实例、每个在哪、每个长什么样”。它不是重新发明一个生成模型，而是在现成的扩散模型外面加一个可插拔的控制模块。
整体上可以拆成三个层次来看。第一层是全局描述，比如“草地上三只柯基犬”，负责定义场景氛围、光照和整体构图。第二层是实例描述，每一个实例单独对应一个子句，比如“实例0：左边，戴蓝色项圈的柯基”“实例1：中间，吐舌头的柯基”“实例2：右边，正在打滚的柯基”。第三层是空间约束，每个实例绑定一个区域，常见形式是 bounding box 或者更精细的 mask。
控制器要做的事情，就是把这三层信息在生成的每一步都“注入”到 UNet 里。关键点在于注入方式不是简单地把字符串拼进 prompt，而是在特征层面对跨注意力机制做调制。控制器会读取所有实例的文本特征和对应的空间区域，为每个注意力头生成一个调制信号，让“实例 i 的文本 token”只能在“实例 i 的空间区域”里产生强的注意力响应，区域之外则被压低。
2.2 注意力调制与区域屏蔽机制
我用一个简化伪代码来说明我理解的调制过程。假设 UNet 某层有 Q（图像特征投影）、K（文本特征投影），原本的 cross-attention 是常规 softmax(QK^T)，现在控制器额外输入每个实例的空间掩码 M_i：
python复制# 伪代码：实例感知的 cross-attention 调制
# instance_tokens: 每个实例对应的文本 token
# masks: 每个实例对应的空间掩码，与特征图分辨率对齐
for i in range(num_instances):
# 先计算第 i 个实例 token 与所有图像位置的原始注意力
attn_i = softmax(Q @ K_i^T / sqrt(d))
# 用空间掩码硬性约束：区域外的注意力直接压低
attn_i = attn_i * masks[i] + attn_i.detach() * (1 - masks[i]) * alpha
# 对区域内做归一化，保证区域内的响应总和稳定
attn_i = attn_i / (attn_i.sum(dim=-1, keepdim=True) + eps)
这里面有两个设计细节很关键。alpha 是一个可学习的松弛系数，用来控制区域外保留多少注意力。设成 0 会让区域边界特别规整，但生成结果容易显得生硬；设得太大又退化成没有约束。实际使用中我倾向于把 alpha 设得比较小，让区域外只保留很弱的语义响应，而不是完全切断，这样既能维持对象边界，又不会让边缘出现明显的“刀切”痕迹。
另一个细节是区域归一化。多实例生成里，如果几个实例的 mask 重叠，或者某个区域特别大、某个区域特别小，直接乘 mask 会导致注意力总量失衡，小的区域什么都画不出来。加上区域归一化之后，每个实例在自己区域内的注意力都有基本盘，不会出现“强者愈强、弱者消失”的局面。
2.3 损失设计与训练策略
控制器不能凭空学会这些调制，它需要针对性的监督信号。我看到的思路里，比较重要的是三部分损失配合。
重建损失是保底的，让整个模型仍然能正常生成高质量图像；实例区域对齐损失负责让每个实例的注意力图去适配给定的 mask，常用做法是把注意力图 pooling 下来和 mask 做 IoU 监督；计数正则项则负责约束实例数量和激活区域数量一致，避免模型把“一只狗的注意力图”激活成三块，也避免三只狗只激活区域一块。
训练策略上，通常是两阶段。第一阶段冻结 UNet 主干，只训练控制器注入模块，让控制器先把“区域-实例对应”学出来。如果一开始就端到端全量训练，很容易把基础模型原本学好的图像质量破坏掉。第二阶段再解除部分层冻结，用比较小的学习率端到端微调，让注意力调制和图像生成互相适应。
2.4 为什么是可插拔控制器而不是重训一个模型
这是工程上很实际的选择。端到端重训一个多实例生成模型，需要的算力和数据都不是一般团队能承受的，而且一旦基础模型更新换代，又要重新训一遍。控制器的可插拔性意味着它可以作为“外挂”加在现有模型上，基础模型继续用现成的权重，这也和社区里常见的 LoRA、ControlNet 思路一致。
实际使用中这个优势非常明显。我可以在同一套控制器下切换不同的基础模型版本，或者再叠加一个风格 LoRA，都不会产生严重的冲突。因为控制器主要作用于注意力层面的调制，和微调权重是两条相对独立的路径。
3. 实操要点：从数据准备到推理全流程
3.1 训练数据构造：实例标注是最大的成本
想把控制器训练出来，首先得有一批“实例级标注”的数据。普通图文对只有整句 caption，并没有告诉你图里有几只狗、每只狗在哪个位置、每只狗分别长什么样。我在实际操作中找了几类可行来源。
最省事的是利用现成的检测和分割数据集，把其中的目标框和掩码直接转化为实例标注。比如某视觉数据集里标了“猫”“狗”这类目标类别，我可以把同一张图里属于同一类别的多个目标挑出来，为每个目标生成一个实例描述，格式类似“一只左耳有花纹的橘猫”“一只趴在沙发扶手上的橘猫”。
生成实例描述时，我会先基于标注类别写一个模板，再用图像局部裁剪出的区域做一个简单的属性补全，尽量让每个实例描述带上区分度。完全不区分的描述，比如“一只猫”“另一只猫”，虽然也能训练控制器做空间绑定，但属性独立性的上限不高，后面推理时容易复制粘贴感强烈。
预处理阶段有几个容易踩的坑。第一个是过滤过小的框，如果目标在整张图里的面积占比太小，控制器无法学到有效的区域对齐信号，反而会引入噪声。我一般会筛掉面积占比小于某个阈值的实例。第二个是处理严重重叠的框，完全重叠的两个实例会让区域归一化变得混乱，可以先做 NMS 或者提高最小 IoU 约束。第三个是实例数量分布，如果数据集里大多数是单个目标，少量是两三个目标，控制器对“多”的记忆会偏弱，我会按实例数量对样本做过采样，把 2～5 个实例的样本比例拉高。
3.2 训练配置与收敛技巧
基于常见实践，我给出一个参考训练配置。这里提供的是配置思路，具体数值需要根据显卡显存、数据规模和个人目标调整，不必照抄。
yaml复制base_model: "stable-diffusion-v1-5" # 也可以是其他任意基础模型
controller:
input_dim: 768 # 文本特征维度
region_dim: 64 # 掩码下采样后分辨率对应的特征维度
modulation_layers: [1, 2, 3, 4, 5] # 注入到 UNet 的哪些层
alpha_init: 0.05 # 区域外注意力松弛系数初始值
train:
freeze_backbone: true # 第一阶段冻结主干
lr_backbone: 1e-5 # 第二阶段微调时的主干学习率
lr_controller: 1e-4 # 控制器学习率
batch_size: 8
gradient_accumulation: 4
max_instances_per_sample: 6
loss_weights:
reconstruction: 1.0
region_alignment: 1.5
count_regularization: 0.8
训练时迭代顺序很重要。我先只训练控制器模块，学习率给到 1e-4 左右，跑大概一万步让区域对齐损失明显下降，再解除主干的部分层冻结，换成 1e-5 的小学习率微调。如果一开始就把主干学习率开得太大，模型的风格会漂移，图像画质肉眼可见地下降，而且很难逆回去。
还有一个细节是掩码分辨率。实例 mask 如果保持原始输入分辨率，计算代价很大，而且 UNet 不同层需要的空间粒度不一样。我训练时会将掩码下采样到每个注入层对应的特征图分辨率，相当于“由粗到细”逐层提供空间约束。这样浅层负责轮廓与位置，深层负责纹理和细节，控制器学到的行为更稳定。
3.3 推理流程与参数调优
推理阶段用户看到的接口很直接：输入一个全局 prompt，给每一个实例写一句话和一个框。N 个实例就需要 N 个“实例描述 + 区域”。我在自建的小工具里把输入模板固定成下面这种格式。
text复制全局描述: 阳光明媚的公园草地上，三只柯基犬正在玩耍，整体氛围温暖自然
实例0: (左) 戴着蓝色项圈，微微抬头，看向前方; 区域: 0.05, 0.4, 0.25, 0.8
实例1: (中) 吐着舌头，趴在地上，神情放松; 区域: 0.35, 0.3, 0.6, 0.7
实例2: (右) 后腿蹬地正在奔跑，嘴角上扬，身体前倾; 区域: 0.62, 0.45, 0.9, 0.85
这里的区域用归一化坐标表示，分别是左上角 x、左上角 y、右下角 x、右下角 y。推理时控制器会把文本和区域一起解析，注入到 UNet 里。
推理参数上，CFG（无分类器引导）是我调整最多的项。多实例控制下，CFG 太高会放大每个实例的语义特征，导致局部出现过饱和，边缘被过度锐化；CFG 太低又会让控制器注入的信号变弱，实例属性不稳定。我自己的实践经验是，单实例任务通常可以开 7～8，多实例任务最好先降到 6，再根据实例数量往下微调。实例越多，CFG 的敏感度越高，有时候甚至会用到 4～5。
采样步数倒不需要太多，常规的 25～30 步在大多数采样器下都够用。DDIM、DPM++ 这类采样器我都试过，控制器注入是一个通用的调制层，对采样器没有明显偏好。
4. 效果验证、翻车现场与排查清单
4.1 量化评估与主观效果怎么测
一个多实例控制器到底行不行，不能只看几张生成图“好像是对的”。我在验证时通常分成三个维度。
第一个维度是数量准确率。固定一套测试布局和描述，跑 100 张图，人工或用一个现成的目标检测器数出图中“正确类别的目标数量”，计算数量和输入 N 一致的占比。只要数量准确率有明显的提升，控制器的空间约束才算真正起了作用。
第二个维度是空间位置对齐。把生成的图里目标检测框和输入框做 IoU 匹配，计算匹配框的平均 IoU。粗看布局的话，IoU 超过 0.5 就说明位置基本可控；如果想追求更精细的构图，可以期望到 0.7 以上。多实例重叠严重时 IoU 会普遍偏低，所以这个指标要结合场景复杂度来看。
第三个维度是属性绑定准确率。比如三个实例分别指定了三种毛色，生成结果里每个框内物体的属性是否和对应描述一致。这个指标比数量更难做，因为属性本身是语义级描述，评估有一点主观，需要一个比较明确的打分标准。我自己会准备一个属性清单，每个实例单独判断对错。
4.2 实战中遇到的 5 类典型问题与解法
我在实际测试过程中遇到过的典型问题，整理成一个速查表，方便你遇到类似情况时快速定位。
| 问题现象 | 可能原因 | 排查与解决方向 |
|---|---|---|
| 数量仍然偏少，三个实例只剩两个 | 实例区域过小或重叠严重，区域归一化把某个实例“饿死”了 | 检查输入框大小，适当扩大区域；调整 alpha 松弛系数，让区域外保留更多上下文语义 |
| 两个实例的属性互相污染 | 实例描述文本过于相似，token 语义空间混叠 | 给每个实例的描述增加更多区分的属性词；训练时强化属性区分样本的比例 |
| 边界过度锐利，对象边缘像被剪出来的 | alpha 值过小，区域外注意力完全被压死 | 调大 alpha，或者在推理时不使用硬掩码，改为软调制 |
| 三个实例长得几乎一样，像复制粘贴 | 实例子句信息量不足，训练时属性分支没学到独立表征 | 重新设计实例描述，引入方向、姿态、颜色、配饰等变量；加大属性区分损失权重 |
| 高 CFG 下局部颜色过饱和，画面失真 | CFG 放大实例 token 响应过度 | 降低 CFG，尝试将实例区域内的 logits 单独加权而不是全局统一引导 |
其中属性污染这个问题，我一度以为只能靠训练数据硬扛。后来发现了个技巧：给每个实例描述加上一个唯一的锚定词，比如“左侧柯基”“右侧柯基”。不要小看这种空间方位词，它能在文本特征空间里给每个实例子句拉开距离，显著降低文本语义重叠。这和给变量起不同名字是同一个道理。
4.3 与几种常见多实例方案的对比
现在多实例生成的控制方法不止 MIGC 这一条路线。我把自己试过的几种主流思路放在一起对比。
| 方案类型 | 实现难度 | 数量控制 | 属性独立控制 | 空间精确度 | 与现成模型兼容性 |
|---|---|---|---|---|---|
| 纯 prompt 工程 | 极低 | 差 | 差 | 差 | 强，完全不动模型 |
| 扩散模型布局条件（如框条件扩散） | 中 | 中 | 中 | 中高 | 依赖特定模型结构 |
| 通用结构控制（类似 ControlNet 的布局分支） | 中高 | 中 | 中低 | 高 | 强，可插拔 |
| 实例感知控制器（MIGC 这一类） | 高 | 高 | 高 | 高 | 强，可插拔 |
纯 prompt 不用多说，偶尔能成，但没有任何稳定性。通用结构控制类方案擅长把布局框对应到图像结构，但更偏向“局部内容生成跟随几何约束”，对“这个实例是谁、那个实例是谁”的属性区分能力不强。MIGC 这类实例感知控制器最核心的区别，是把注意力调制从“全局统管”细化成“实例各管各”，所以它对数量控制和属性独立控制的上限明显更高。
当然，它也有代价。训练数据标注成本、训练调参复杂度都会高一些，而且要求使用者对注意力机制有一定理解。如果你只是临时生成一两张图，没必要上这种方案；但如果你要把多实例可控生成做成稳定流程，控制器的投入是值得的。
5. 几个我总结下来的经验建议
在实际用过这类控制器思路之后，我的感受是多实例生成本质上不是在“提高画质”，而是在“建立空间和语义的对应管理机制”。模型本身已经会画物体，缺的是把“第几个”“在哪”“长什么样”这些信息落实下去的执行力。
我建议使用者在搭建自己的流程时，先把数据质量抓起来。多花时间处理实例标注，比盲目调模型结构收益更大。实例描述写清楚、区域标注准确、实例数量分布均衡，训练起来很少出幺蛾子。反过来，如果数据本身一堆重叠框、一堆弱描述，后面全是在绕弯路。
推理端也有一个小技巧：不要只生成一张图就收工。多实例场景的随机性本来就比单实例高，我用控制器时通常会以同一组输入跑 4～8 张，再从数量准确、属性区分、构图协调三个角度快速筛一下。把流程做成“批量生成 + 快速筛选”，效率和稳定性会好很多。
如果你打算把这个思路继续扩展，我试过两条路都挺有价值。一是往视频生成方向迁移，多实例控制的关键帧约束可以给视频一致性打好底子；二是和编辑类任务结合，比如先在图上生成多个实例对象，再对单个实例区域做素材替换，这在电商和创意工作流里很实用。控制器本身是一种机制，它的价值是可以嵌入到很多现有生成流程里，而不只是服务单一的一个画图任务。