上下文混合 MoC 是什么？让长视频生成记得住前面发生了什么
TL;DR上下文混合（MoC）是字节跳动 Seed 团队和斯坦福大学等在 2025 年 8 月提出的长视频生成方法，把长视频生成看作内部信息检索问题，用可学习的稀疏注意力路由让每个查询只关注少量关键片段，降低计算量并保持长时间的一致性。
上下文混合（Mixture of Contexts，MoC）是一种让 AI 生成更长、更连贯视频的稀疏注意力方法，由字节跳动 Seed 团队和斯坦福大学等机构在 2025 年 8 月提出，论文标题是《用于长视频生成的上下文混合》。
长视频生成本质上是记忆问题
论文开宗明义：长视频生成从根本上说是一个长上下文记忆问题。模型必须在很长的时间跨度里保留并调取重要的事件，比如角色的样子、场景的布局、之前发生过的剧情，否则就会出现画面崩坏、人物样貌前后不一致、剧情矛盾等问题。但把扩散 Transformer 扩展到生成长视频，受限于自注意力的平方级计算成本：视频越长，每一帧都要和之前所有帧计算注意力，内存和计算量都会爆炸，长序列也很难优化。
MoC 的思路
研究者把长上下文视频生成重新定义为一个内部的信息检索任务：生成当前画面时，模型并不需要回看之前所有的内容，只需要找到最相关的那几段。基于这个想法，他们提出了 MoC，一个简单、可学习的稀疏注意力路由模块。
在 MoC 中，视频被切分成若干片段，比如按镜头或按帧块划分。每个查询会动态地挑选少数几个信息量大的片段去关注，就像混合专家模型里，每个 token 只交给几个专家处理一样。此外，还有一些强制保留的“锚点”，比如文字提示和当前镜头内部的内容，保证最基本的信息始终可见。为了防止信息在片段之间形成循环依赖，路由采用因果的方式，只允许关注之前的内容。
效果
论文报告，MoC 能剪掉大部分不必要的注意力计算，让计算量接近线性增长，同时模型学会把注意力分配给真正重要的历史内容，在分钟级的长视频生成中保持了人物身份、动作和场景的一致性。这为生成多镜头、长时长的连贯视频，比如短剧和长篇叙事内容，提供了一条可扩展的技术路径。