频率原则是什么？神经网络总是先学会“大轮廓”再学细节

频率原则（Frequency Principle，F-Principle）是描述神经网络训练过程的一个重要规律：深度神经网络在训练时，倾向于先拟合目标函数中的低频成分，再逐步拟合高频成分。这个原则由上海交通大学的许志钦（Zhi-Qin John Xu）及其合作者在 2018 年提出，论文标题是《频域中深度神经网络的训练行为》。同一时期，其他研究者也独立观察到了类似的现象，称为“谱偏好”（spectral bias）。

什么是函数的频率

任何一个函数，都可以分解成不同频率的波动的叠加，这是傅里叶分析的基本思想。低频成分对应函数整体的、缓慢变化的趋势，就像一幅画的大致轮廓和色块；高频成分对应快速变化的细节，就像画中细小的纹理和锐利的边缘。比如一条起伏的山脉轮廓线，低频成分描述的是“哪里是山、哪里是谷”，高频成分描述的是山脊上的每一块石头。

频率原则说了什么

研究者发现，用神经网络去拟合一个函数时，训练早期，网络会很快地抓住目标函数的低频成分，也就是大致的形状；随着训练的进行，才慢慢地学会越来越高频的细节。就像画画时，先勾勒出大体的轮廓，再一点点添加细节。这个现象在各种网络结构和任务中都能观察到，从简单的一维函数拟合，到图像分类等真实任务。研究者还从理论上分析了它的成因：与神经网络常用的激活函数的平滑性有关，平滑的函数在频域中的能量集中在低频，因此网络对低频的梯度更大、学得更快。

它解释了什么

频率原则为理解深度学习的一个谜题提供了视角：神经网络的参数往往比训练数据多得多，理论上它完全可以把训练数据背下来，包括其中的噪声，但为什么它在新数据上往往仍能表现良好？频率原则给出了一种解释：真实世界中很多函数是以低频成分为主的，比较“平滑”，而网络天然地偏好先学低频的、平滑的规律，所以在完全记住训练数据中的噪声（通常是高频的）之前，它已经学到了能泛化的主要规律。这也解释了“早停”为什么有效。反过来，它也说明了神经网络在学习高频、剧烈变化的函数时会比较困难、速度较慢，这对用神经网络求解某些物理方程等科学计算问题有指导意义，研究者因此提出了多尺度神经网络等改进方法。