POET 是什么？用正交变换稳定训练大模型的新方法
TL;DRPOET 是德国马普所和香港中文大学在 2025 年 6 月提出的大模型重参数化训练算法，用两个可学习的正交矩阵和一个固定的随机权重矩阵来表示每层权重，保持权重矩阵的谱特性，让训练更稳定、泛化更好。
POET（Reparameterized Training via Orthogonal Equivalence Transformation）是一种新的大模型训练方法，由德国马克斯·普朗克研究所和香港中文大学的研究人员在 2025 年 6 月提出，论文标题是《通过正交等价变换进行重参数化的大模型训练》。它被称为一种基于第一性原理的训练范式。
它改变了什么
常规的神经网络训练，是直接更新每一层的权重矩阵：梯度告诉每个参数该往哪个方向调多少，就直接调。POET 换了一种方式：它对每个神经元的权重进行重参数化，用两个可学习的正交矩阵和一个固定不变的随机权重矩阵来表示。训练时，随机权重矩阵始终不动，只学习那两个正交矩阵，用它们去“旋转”这个固定的矩阵，得到实际使用的权重。
为什么这样做有好处
正交矩阵有一个重要的性质：用它去变换另一个矩阵时，不会改变那个矩阵的奇异值，也就是不会改变它的谱特性。可以把奇异值理解为矩阵在各个方向上“拉伸”的程度。在常规训练中，权重矩阵的奇异值可能会在训练过程中变得很大或者分布失衡，这和训练不稳定、泛化能力差都有关系。POET 因为只做正交变换，可以从理论上证明它保持了权重矩阵的谱特性，于是能稳定地优化目标函数，同时提升模型的泛化能力。
研究者认为，这种方法从神经网络训练的基本原理出发，让训练过程在一个更“规整”的空间里进行，这也是“第一性原理”说法的由来。
实用性
直接学习完整的正交矩阵，对大模型来说计算成本太高。论文为此开发了高效的近似方法，让 POET 能够灵活、可扩展地用于训练大语言模型。实验显示，POET 在大模型预训练中取得了很好的效果，在相同的训练条件下，表现优于常规的优化方法，同时具有更好的训练稳定性。这项工作为大模型的训练算法提供了一个不同于“直接更新权重”的新思路。