KAN 是什么？把可学习的函数放在连接上的新型神经网络

柯尔莫哥洛夫-阿诺德网络（Kolmogorov-Arnold Networks，KAN）是一种被提出作为多层感知机替代方案的新型神经网络。它来自 MIT、加州理工学院等机构的研究人员在 2024 年 4 月发表的论文《KAN：柯尔莫哥洛夫-阿诺德网络》，第一作者是刘子鸣。KAN 的名字是为了纪念两位伟大的数学家：安德烈·柯尔莫哥洛夫和弗拉基米尔·阿诺德。

它和普通神经网络有什么不同

多层感知机（MLP）是最基础的神经网络，它的设计灵感来自通用逼近定理。在 MLP 中，神经元（节点）之间的连接（边）上是可学习的权重，也就是一个数字；每个节点上有一个固定的激活函数，比如 ReLU。数据经过连接时被乘以权重，在节点处求和后再经过固定的激活函数。

KAN 把这个设计反了过来：它把可学习的激活函数放在了连接（边）上，而节点上只做简单的求和。也就是说，KAN 中的每一条连接，都不是一个简单的权重数字，而是一个可以学习的一元函数，通常用样条函数（B 样条）来表示，它的形状可以在训练中被灵活地调整。KAN 的设计灵感来自柯尔莫哥洛夫-阿诺德表示定理，该定理指出，任何多元连续函数都可以表示为一元函数的组合和加法。

有什么优点

论文报告，在一些数学和物理的科学任务中，KAN 用更少的参数，就能达到比 MLP 更高的精度，并且表现出更快的神经扩展规律。另一个突出的优点是可解释性：因为每条连接上都是一个可以画出来的一元函数，研究者可以直观地观察网络学到了什么，比如某条连接学到的函数形状像正弦函数、像平方函数。论文还展示了如何通过剪枝和“符号化”，把训练好的 KAN 转换成一个简洁的数学公式，帮助科学家从数据中发现潜在的物理规律或数学关系，研究者称它可以成为科学家的“合作者”。

局限和讨论

KAN 发布后引起了广泛的关注和讨论，迅速出现了大量的改进和应用研究。但它也有明显的局限：在训练速度上，KAN 通常比同等规模的 MLP 慢很多，因为样条函数的计算难以像矩阵乘法那样在 GPU 上高效并行；在图像、语言等大规模的通用任务上，后续的研究没有发现它明显优于 MLP。目前，KAN 更适合于中小规模、注重可解释性的科学计算和符号回归类问题，作者此后也推出了改进版本 KAN 2.0，更加聚焦于科学发现。