InstanceAssemble 是什么？按框控制每个物体位置的图像生成

InstanceAssemble 是一种按布局精确生成图像的方法，由复旦大学和小红书的研究人员在 2025 年 9 月提出，论文标题是《InstanceAssemble：通过实例组装注意力实现布局感知的图像生成》，入选 NeurIPS 2025。

什么是布局到图像生成

普通的文生图只能用一段文字描述画面，很难精确控制“猫在左下角，花瓶在右上角，标题文字在顶部中间”这样的位置关系，模型常常把东西放错位置、数量不对，或者把不同物体的特征混在一起。布局到图像生成（Layout-to-Image，L2I）则允许用户先画好布局：用一个个边界框标出每个物体应该出现在哪里，并为每个框写上描述，模型再按照这个布局生成图像。这在海报设计、电商图、广告创意等需要精确排版的场景里非常有用。

InstanceAssemble 的做法

论文指出，尽管布局到图像生成已经有了不少进展，现有方法的表现仍不理想，尤其是在布局复杂、物体很多、框彼此重叠时。InstanceAssemble 提出了一种实例组装注意力机制：先处理全局的文字提示，确定整体画面；再通过独立的注意力机制，分别处理每个实例（每个框内的物体）的布局条件，把它们“组装”到画面中对应的位置。这样每个物体的特征不容易相互干扰，即使布局很复杂，也能保持稳健。

除了用边界框控制位置，它还支持多模态的内容控制：每个框里放什么，既可以用文字描述，也可以提供额外的视觉内容，比如一张参考图，让生成的物体长成参考图的样子。研究人员也构建了相应的评测基准和指标，用来衡量布局对齐的准确程度。

意义

这类方法让 AI 生图从“碰运气”走向“按图施工”，对需要大量制作版式统一、元素位置精确的商业图片的团队，能显著减少反复修改的次数。它可以作为插件式模块加到现有的扩散模型上使用。