Phi-4 是什么：微软靠合成数据练出来的 14B 小模型

它是什么

Phi-4 是微软研究院在 2024 年 12 月 12 日发布技术报告的 14B 参数语言模型，上下文窗口 16K，属于微软的 Phi 小模型系列，权重随后在 Hugging Face 上以 MIT 许可开放。它的训练配方核心是数据质量。和大多数语言模型主要用网页、代码等自然数据做预训练不同，Phi-4 在整个训练过程中有策略地加入了大量合成数据。

超过了老师

技术报告里最引人注目的一点是：之前的 Phi 系列模型，很大程度上是在蒸馏老师模型（GPT-4）的能力；而 Phi-4 在偏 STEM（科学、技术、工程、数学）的问答能力上明显超过了它的老师 GPT-4。微软认为，这说明他们的数据生成和后训练技术已经超越了单纯的蒸馏：学生不只是学会了老师会的东西，还学到了老师不会的东西。

合成数据怎么用

Phi-4 的合成数据不是简单地让大模型批量写文章，而是精心设计的：从高质量的种子内容出发，通过多智能体协作、自我修订、指令反转等方法，生成大量高难度、推理密集的训练数据，比如需要多步推导的数学题、需要严谨逻辑的问答。这些数据比网上的自然文本更“干货”，每个 token 都在教模型推理。此外，报告提到他们改进了训练课程，后训练阶段还引入了新的偏好优化方法，比如找出对结果影响最大的关键 token 来构造偏好数据。

成绩怎么样

架构上，Phi-4 和 Phi-3 相比几乎没有变化，但凭借更好的数据、训练课程和后训练创新，它在同等规模的模型里表现很强，尤其是在推理类基准上，比如研究生级科学问答 GPQA 和数学竞赛题 MATH，成绩超过了很多大得多的模型。官方也提醒，它在严格的指令遵循和部分事实性知识上存在短板，这是小模型的普遍局限。

适合谁

需要在单张显卡上部署、侧重数学和推理能力的场景，Phi-4 是很有性价比的选择；MIT 许可让商用和微调都很方便。研究合成数据和小模型训练的研究者，技术报告值得细读。需要大量世界知识或很长上下文的任务，它就不太合适。AI 主线的看法是：Phi-4 用 14B 的体量证明了“数据比参数更重要”，合成数据在它身上已经不是补充，而是主角。