帧链 Chain-of-Frames 是什么？让视频模型边看边推理

帧链（Chain-of-Frames，CoF）是一种提升多模态大模型视频理解能力的推理方法，由纽约大学阿布扎比分校、苏黎世联邦理工学院和美国陆军研究实验室等团队在 2025 年提出，论文标题是《帧链：通过帧感知推理提升多模态大模型的视频理解》。

从思维链到帧链

已有研究表明，让大语言模型在回答前先用自然语言写出推理过程（思维链），能显著提升它们在各类任务上的表现。这个方法也被推广到了多模态大模型：模型可以针对输入的图片和视频先写出推理过程。对于视频输入，以往的做法要么采用复杂的多步流水线，先抽取相关的帧、再放进推理链中；要么只生成简单的单阶段推理，在推理的结尾才给出答案。

帧链怎么做

帧链的想法是：就像思维链让模型一步步推理，帧链让视频模型在推理时明确指出自己依据的是哪些帧。比如回答“这个人是先拿起杯子还是先打开冰箱”，模型的推理过程会写成“在第 12 帧，这个人走向冰箱；在第 25 帧，他打开了冰箱门；在第 40 帧，他拿起了桌上的杯子……”，把每一步推理都和具体的视频帧对应起来。这样，模型就能解决需要跨越时间和空间逐步推理的视觉问题。

和现有的视频思维链方法相比，帧链不需要额外的多步流水线或辅助网络，而是在一个模型、一次推理中完成。研究人员构建了一个包含大量“引用帧编号的推理链”的数据集，用它对多模态大模型进行微调，让模型学会这种帧感知的推理方式。

效果

论文报告，经过帧链训练的模型在多个视频理解基准上表现提升，包括需要理解时序和事件顺序的问题，同时减少了视频理解中常见的幻觉。由于推理过程明确引用了帧，模型的回答也更容易被检查和解释：用户可以直接跳到对应的帧，核对模型说得对不对。