资讯

商汤给图像编辑模型补了一课,连改十轮的“糊图病”缓了不少

2026-11-064 分钟阅读热点
TL;DR拿 AI 改图的兄弟们应该都有过这种经历:第一次改,漂亮;第二次改,还行;改到第七八次,墙面开始长奇怪的纹理,整个背景像被人拿砂纸磨过一遍。

拿 AI 改图的兄弟们应该都有过这种经历:第一次改,漂亮;第二次改,还行;改到第七八次,墙面开始长奇怪的纹理,整个背景像被人拿砂纸磨过一遍。

11 月 5 日,商汤在 Hugging Face 放出了 SenseNova-U1.5-8B-MoT-TailSteer,Apache-2.0 协议,完整权重,专门对付这种多轮编辑越改越糊的毛病。我们 AI主线 的看法是:TailSteer 是商汤给 SenseNova U1.5 补上的一堂早该补的课,换个模型 ID 就能用,单轮能力基本没丢,但目前所有成绩都出自官方自己的测试,只能算“有希望”,还不是定论。

越改越糊,这病商汤自己早就认了

先说这病怎么来的。多轮编辑里,上一轮的输出就是下一轮的输入。每一轮都会带进一点点误差,误差不会自己消失,像拿复印件再去复印,一层层叠上去。

商汤心里有数。U1.5 基座的模型卡在已知局限里就写了:大范围、多轮或多参考图的编辑可能出现漂移,要把很多区域一起保住的时候尤其明显。

放回这条产品线里看节奏:U1 的论文 5 月前后挂上 arXiv,U1.5 预览版 7 月底开源,主打原生 4K 出图和编辑,正式版 8 月中旬上线。TailSteer 被官方称为“最后一道训练阶段”,是在已经成型的 U1.5 上做精修,不是换代。补课,不是转向。

改个模型 ID 就能用,这才是真香的地方

TailSteer 怎么做的?官方的说法是“保住早期动态,引导轨迹尾部”。翻成人话:图像生成的去噪过程大致是先出大轮廓,后补细节,“尾部”说的就是后面补细节的那一段。训练时从 50 步里的第 42 步开始往后施加引导,学的是模型自己单次编辑的去噪过程,没被改动的原图内容当作“保留参照”。

训练数据也省事。只用单次编辑的轨迹,不要人工标好的“编辑前后配对图”,也不需要拿多轮编辑链来训。

对使用者来说,最香的是部署。官方说架构、模型布局、加载接口都和基座一样,是完整权重:不用 adapter,不用合并,不加推理模块,推理时也不需要保护蒙版。把官方推理包里的模型路径换成新 ID,下一轮把上一轮的输出再喂回去,就行了。

数字漂亮,但这把尺子是自家的

官方主推的成绩来自 Add & Preserve:100 张图,每轮往红框里加一个小物体,前面加的要留着,框外全部保持不变,连做十轮。第十轮时,框外区域的 PSNR 从 11.23 涨到 18.22,涨了 6.99 dB;LPIPS 降了 31.3%。这两个指标都是拿改完的图去对原图,看没动的地方变了多少。

先泼一点冷水。SSIM 的满分是 1,TailSteer 十轮后是 0.489,基座是 0.166。这是“没那么崩”,不是“不崩”,十轮之后背景离原图仍有一大截距离。

代价也摆在官方的表里。单轮能力是“基本持平”,并非原封不动:Qwen-Image-Bench 英文分从 53.43 降到 52.24,RISE 准确率从 31.39% 降到 29.44%,官方自己也写了这一项更低。两分上下的小亏,换多轮的大稳,爱连续改图的人划算,只改一次的人就是白换。

还有两点要留心。Add & Preserve 这把尺子是随这次发布一起拿出来的,模型刚上线,谈不上第三方复现。另外 ComfyUI Wiki 转载的 U1.5 正式版数据里,ImgEdit 是 4.59,TailSteer 这张表里基座是 4.43,口径明显不一样,别跨表比。

同行怎么啃这块骨头,谁该现在就试

多轮编辑漂移是个公开难题,路线不止一条。10 月中旬 arXiv 上的 MTEdit 走的是数据路线:造了 50 万条多轮编辑轨迹,最多 8 轮,平均 5.38 轮,训出 Qwen-Image-MTEdit,论文自称在参评的开源模型里成绩领先。TailSteer 走的是另一条:改训练目标,省掉造多轮数据的成本。两边用的评测集不同,哪条路更划算,现在没法下结论。

那谁该试?已经在用 U1.5 做迭代改图的,比如海报、商品图一轮轮调细节的,换 ID 的成本几乎为零,拿自己的图对着基座跑一遍就知道值不值。

还没上手 U1.5 的,先算算硬件。名字里写 8B,HF 页面标的却是 18B 参数、BF16,光权重就得三十多 GB。U1.5 预览版出来后,社区给 ComfyUI 做过 GGUF、INT8、FP8 的量化节点,TailSteer 能不能吃上这波,得等人去试。

接下来盯两件事:有没有人在自己的图上复现这个差距,以及商汤会把这道工序并进下一版基座,还是一直当个外挂版本。这两件事落地,我们 AI主线 再来聊它到底算不算改图的新标配。