布局生成图像 Layout-to-Image 是什么？先画框再出图
TL;DR布局到图像生成（Layout-to-Image）是根据给定的物体边界框和类别生成图像的方法，2018 年不列颠哥伦比亚大学提出的 Layout2Im 是代表性工作，入选 CVPR 2019，让生成的物体出现在指定位置。
布局到图像生成（Layout-to-Image，L2I）是根据一张“布局图”来生成图像的技术。布局图由若干个边界框组成，每个框标明一个物体的类别和位置，比如“左边一只狗，右上角一棵树，下方一片草地”。模型要生成一张逼真的图像，让正确的物体出现在指定的位置上。这类任务的代表性早期工作是不列颠哥伦比亚大学研究团队在 2018 年 11 月提出的 Layout2Im，论文标题是《从布局生成图像》，入选 CVPR 2019。
难在哪里
论文指出，尽管生成模型进步很快，可控地生成包含多个物体、布局复杂的图像仍然很难。核心挑战在于：同一个物体可以有各种各样的外观，一只“狗”可以是任何品种、颜色、姿势，因此和同一个布局相符的图像有无数种可能。模型既要保证物体的类别和位置正确，又要让画面多样、逼真，各个物体之间还要自然地融合在一起。
Layout2Im 的思路
Layout2Im 把每个物体的表示拆成两部分：确定的部分是类别信息，用词向量编码，比如“这是一只狗”；不确定的部分是外观信息，用一个从正态分布中随机采样的低维向量表示，比如“这只狗长什么样”。每个物体的表示被放进它对应的边界框位置，再由网络把所有物体的特征融合起来，生成完整的图像。改变外观向量，就能在保持布局不变的情况下得到不同样子的图像。
后来的发展
扩散模型兴起后，布局到图像生成有了大幅进步，GLIGEN、InstanceAssemble 等方法让用户可以用边界框加文字描述精确控制每个物体，甚至为每个框提供参考图像。这类技术被广泛用于海报设计、电商图制作、广告排版，以及为目标检测等任务合成训练数据。