涌现是什么？模型规模变大后突然出现的新能力

涌现（Emergence）指的是由简单的个体或规则相互作用，产生出复杂的集体行为或结构的现象。在人工智能领域，它常指模型学习到的高级特征或能力，这些能力并不是由设计者直接规定的，而是在模型自身的学习过程中逐渐产生的。

自然界中的涌现

涌现是一个跨学科的概念，在自然界中随处可见。一只蚂蚁的行为非常简单，但成千上万只蚂蚁组成的蚁群，却能建造复杂的巢穴、找到最短的觅食路径；单个的水分子没有“湿”的性质，但大量的水分子聚在一起，就有了液体的流动性；每个神经元只是简单地接收和发放电信号，但上千亿个神经元相互连接，就产生了思维和意识。这些整体的性质，无法通过单独研究个体来预测，这就是“整体大于部分之和”。

大模型的“涌现能力”

在大语言模型领域，涌现特指一种现象：某些能力在较小的模型上几乎完全不存在，表现和随机猜测差不多，但当模型的规模，也就是参数量、训练数据和计算量，超过某个临界点之后，这种能力会突然显著地出现。2022 年，谷歌等机构的研究人员在论文《大语言模型的涌现能力》中系统地描述了这一现象，列举了多个例子：多步的算术运算、理解单词的组合含义、上下文学习（只看几个例子就学会新任务），以及思维链推理（只有足够大的模型，才能从“一步步思考”的提示中获益）。在这些任务上，把模型的表现随规模变化画成曲线，会看到在某个规模附近出现陡峭的跳跃，而不是平缓的上升。

这一发现引起了广泛的关注：如果能力会随着规模“突然出现”，那么继续扩大模型，可能会带来更多无法预测的新能力，这既令人期待，也让人对 AI 安全产生担忧。

它是真的吗

涌现能力是否真实存在，也引发了争论。2023 年，斯坦福大学的研究人员发表论文《大语言模型的涌现能力是海市蜃楼吗？》，提出了不同的看法：他们认为，很多所谓的涌现，可能是评测方式造成的假象。比如用“完全正确才得分”这种全有或全无的指标来评测，模型的能力其实在平稳地进步，只是在答案完全正确之前一直得零分，看起来就像是突然出现的；如果换用更连续、更细致的评价指标，比如看答案有多接近正确，能力的提升往往是平滑渐进的。这场讨论至今仍在继续，它提醒人们：如何衡量能力，会深刻地影响我们对模型发展规律的理解。