字节开源 Cola2，60.10 分不好看，这条路线值得盯
现在的大模型，基本都是一个 token 接一个 token 往外蹦，写到哪算哪。偏偏有人想换个写法：先把整段话的意思定下来，再落笔成字。
11 月 6 日，字节 Seed 在 Hugging Face 上开放了 Cola2 的权重。这是一个连续隐空间语言模型，论文报告的八项任务平均分是 60.10，训练只用了 3460 亿 source token。我们 AI主线 的看法是：Cola2 是字节 Seed 用 3460 亿 token 验证连续隐空间生成路线的研究型基座模型，不是拿来干活的产品，它的价值在路线上，分数追不上同级别的主流基座。
这东西到底怎么“写字”？
传统模型像抄课文，一个字接一个字往下抄。Cola2 更像先列提纲再写作文：一个动态压缩的 VAE 把文本切成一段段语义片段，每段压成一个紧凑的连续向量。一个块因果的 DiT（扩散 Transformer，约 40 亿参数）负责生成这些向量，最后由解码器把向量翻回 token。
推理时它反复做三件事：提出一块隐向量，解码成文字，再把已经定下来的文字重新编码回去，让“连续的历史”和“离散的历史”始终对得上。训练分两阶段，先联合训练压缩编码器和解码器，再继续调 VAE，同时让 DiT 用 Flow Matching 去学隐向量的分布。
这是 Cola 系列的第二棒。今年 5 月 7 日，同一批作者在 arXiv 放出了 Cola DLM 的论文（编号 2605.06548），代码和权重随后上了 Hugging Face 和 GitHub。Cola2 论文摘要里说，这次的新东西是动态切分语义片段，用不依赖辅助损失的负反馈控制压缩率，再让连续和离散两侧一起适应。
60.10 分，到底算高还是低？
先摆事实。同一张表里，Llama-3-8B 平均 66.25，Qwen2.5-7B 是 75.08，Qwen3-8B-Base 是 75.87。MMLU 上 Cola2 是 51.32，Llama-3-8B 是 63.19。差距就摆在那儿，跑分党看一眼大概直接划走。
那官方为啥还敢提？因为数据量。官方说 Cola2 在 HellaSwag 和 StoryCloze 上超过了 Llama-3-8B，而预训练 token 少了 43 倍以上，346B 对 15T 以上。
这个“赢”我不太敢当真。HellaSwag 这一项，Llama-3-8B 是 39.21，Qwen2.5-7B 却是 75.67，同一格里差这么多，说明各家评测口径和训练配方差得远。官方在表后面也说了，这张表只能大致对一下能力，分不出生成范式本身的贡献。41.75 比 39.21 这点差距，更像擦边。
更公平的对手是 LLaDA-8B-Base，同属扩散阵营，用了 2.3T token，是 Cola2 的六倍多，平均分 72.11，高出 12 分左右。官方还强调 latent DiT 没训到收敛，换句话说，这是个资源受限版本。
能下载，但别指望拿它聊天
它是基座模型，不是对话助手。要跑得有 Python 3.10 以上、PyTorch 2.2 以上、Transformers 4.51 到 4.x，加载时必须开 trust_remote_code=True，官方推荐带 bfloat16 的 CUDA 显卡。默认一次只生成 32 个新 token，刚开个头就停了。
还有个坑：即便用贪心选词，输出也不是确定的，因为隐向量从高斯噪声起步。想对比结果，得自己传一个带种子的 generator。论文里每项成绩是三次带噪采样的均值，原始种子没公开，复现出来有小出入很正常。
开放程度也要看清。仓库代码是 Apache 2.0，权重、分词器和评测数据则各自受原条款约束，想商用得自己去翻 NOTICE。训练代码没放，放出来的是推理实现、命令行工具和评测脚本。能玩的是推理和评测，想自己训一版的，暂时没门。
对写代码的、做内容的、做选型的，现在都没有试它的理由。真正用得上的是做架构和推理研究的人：权重、评测数据、校验文件都给全了，拿来做对比实验刚好。
字节在这条路上押了多久？
回头看，去年底 Seed 发过 DLCM，把计算挪到压缩后的“概念”空间里做；今年 5 月是 Cola DLM；这次是 Cola2。三篇问的其实是同一件事：为啥每个 token 都得花一样的算力？
我最看重的不是那个平均分，而是论文里的受控对比。在模型大小、数据和评测设置对齐的前提下，Cola2-MDM 收敛得慢，可在大约 150B token 之后一直在缩小跟 LLaDA 的差距，到 210B 左右还没饱和。这是官方自己的实验，我没找到独立复现，只能当线索，算不上证据。路线是不是画饼，就看规模放大后这条曲线还往不往上走。
接下来我盯两件事：DiT 训到收敛后，分数能补回多少；有没有别家拿着这套开源实现，在更大规模上抄一回作业。