当我们谈论大语言模型（LLM）时，最令人着迷也最令人困惑的现象之一，便是所谓的涌现能力（Emergent Abilities）。这类能力无法通过小模型的表现进行简单预测，它们似乎在某个临界规模突然出现，如同量子跃迁般不可思议。
什么是涌现能力？
涌现能力指的是那些在小型模型中不存在，但当模型规模（参数量、训练数据量）增长到某个阈值后突然出现的复杂能力。这类能力无法通过外推小模型的性能曲线来预测，表现出明显的非线性特征。
2022年，Google Research的Jason Wei等人在论文中首次系统定义了LLM的涌现能力。他们对比GPT-3 175B和小版本模型在多种任务上的表现，发现当模型规模超过某个临界值后，在少样本学习、多步骤推理、数学应用题求解等任务上的准确率出现了戏剧性的提升。
典型涌现能力举例
1. 上下文学习（In-Context Learning）
GPT-3展现出的少样本提示学习能力，被认为是涌现能力的经典范例。模型能够通过几个示例理解任务模式，不需要梯度更新就能执行新任务。这种能力在参数量低于十亿级别时几乎不存在。
2. 多步推理与思维链（Chain-of-Thought）
当模型规模足够大时，给予适当的提示，LLM能够展示出复杂的多步骤推理能力。2022年的研究表明，在数学应用题、逻辑推理任务上，175B的GPT-3展现出远优于13B模型的链式推理能力。
3. 指令遵循与泛化
大规模预训练模型在经过少量指令数据微调后，能够泛化到未见过的指令任务，这种能力同样表现出涌现特性。
涌现能力的理论解释
目前学术界对涌现能力的本质仍未达成共识，主要有几种假说：
- 度量假说：涌现可能部分是由于评估指标的非线性造成的错觉，改用连续型指标后涌现可能消失
- 分阶段学习假说：模型在不同规模阶段学习不同类型的表示和能力，能力的涌现是不同学习阶段的自然结果
- 相变假说：类似于物理学中的相变现象，模型在临界规模时发生了质的变化
对人工智能发展的启示
涌现能力的研究对AI发展路线有深远影响：一方面，它暗示着更大的模型可能会解锁我们尚未预见的能力天花板；另一方面，它也引发了对AI安全、对齐问题的新思考——我们如何确保突然涌现的能力是可控的、安全的？
当前，研究者们正在探索稀疏化、知识蒸馏等技术，希望在不损失涌现能力的前提下降低模型的计算成本。同时，能力涌现的可预测性研究也在蓬勃发展，帮助我们更好地规划AI发展的路径。
发表评论 取消回复