径向基函数 RBF 是什么?只看距离远近的函数
径向基函数(Radial Basis Function,RBF)是一类取值只取决于输入点到某个中心点之间距离的函数。“径向”的意思是沿着半径方向:无论输入点位于中心点的哪个方向,只要距离相同,函数值就相同,就像往水面扔一颗石子,同一圈涟漪上各处的高度都一样。
常见的径向基函数
最常用的是高斯函数:在中心点处取得最大值 1,随着距离的增大迅速衰减,逐渐趋近于零,形状像一口倒扣的钟。它有一个宽度参数,控制函数衰减的快慢:宽度大,函数影响的范围广;宽度小,函数只在中心点附近起作用。此外还有多二次函数、逆多二次函数、薄板样条函数等。
在支持向量机中:RBF 核
径向基函数最广为人知的应用是作为支持向量机的核函数,也叫高斯核。核函数可以衡量两个样本之间的相似程度:两个样本离得越近,高斯核的值越接近 1;离得越远,越接近 0。使用高斯核相当于把数据映射到一个无穷维的空间中,在那里原本弯弯曲曲、无法用直线分开的数据可以变得线性可分,而计算时并不需要真的进行这种映射。高斯核非常灵活,几乎能拟合任意形状的分界线,是支持向量机最常用的默认核函数。它有一个关键的参数,通常记作 gamma,控制核的宽度:gamma 越大,每个样本的影响范围越小,分界线越曲折,越容易过拟合;gamma 越小,分界线越平滑。
径向基函数神经网络
1988 年,David Broomhead 和 David Lowe 提出了径向基函数网络。它通常只有三层:输入层;隐藏层,每个隐藏神经元都有一个中心点,它的输出是输入与这个中心点之间距离的径向基函数,离中心越近输出越大;输出层,对隐藏层的输出进行线性加权求和。它的训练通常分两步:先确定隐藏层的中心点,比如用 K 均值聚类从数据中找出代表性的点;再用线性方法求解输出层的权重。这比训练多层感知机简单快速得多。它被用于函数逼近、时间序列预测、控制系统和分类等任务。
插值和曲面重建
在数值计算中,径向基函数被广泛用于散乱数据的插值:已知一些位置不规则分布的点上的数值,比如各个气象站测得的气温,要估计其他任意位置上的值。做法是以每个已知点为中心放置一个径向基函数,把它们加权组合起来,使得组合后的函数恰好经过所有已知的点。这种方法不需要数据点排列在规则的网格上,在地理信息、三维曲面重建、计算机图形学等领域都很常用。