超限学习机 ELM 是什么？隐藏层随机生成、只训练输出层的快速网络

超限学习机（Extreme Learning Machine，ELM），也常被称为极限学习机，是一种用于训练单隐藏层前馈神经网络的快速学习方法。它由新加坡南洋理工大学的黄广斌等人在 2004 年前后提出，并在 2006 年发表了系统的论文。它的特点是：隐藏层的参数随机生成、不再调整，只需要计算输出层的权重，而且这一步有直接的解析解，因此训练速度非常快。

它是怎么做的

传统的单隐藏层神经网络，需要用反向传播和梯度下降来迭代地调整网络中所有的权重，包括从输入层到隐藏层的权重，以及从隐藏层到输出层的权重。这个过程往往需要很多轮的迭代，训练较慢，还需要仔细地调节学习率等参数，并且可能陷入局部最优。

超限学习机采用了一种截然不同的做法。第一步，随机地生成从输入层到隐藏层的所有权重和偏置，之后不再改变它们。第二步，把所有的训练样本输入网络，经过这个随机的隐藏层和激活函数，计算出每个样本在隐藏层的输出，组成一个矩阵。第三步，求解从隐藏层到输出层的权重。由于隐藏层已经固定，输出层的权重与网络的输出之间是一个简单的线性关系，求解它就变成了一个线性的最小二乘问题，可以用矩阵的广义逆一次性地直接计算出来，不需要迭代。为了提高稳定性、防止过拟合，通常还会加入一个正则化项，这时的解与岭回归的形式相同。

为什么随机的隐藏层也能起作用

直观地说，随机的隐藏层相当于把原始的输入数据非线性地映射到了一个新的、维度通常更高的特征空间中。只要隐藏层的神经元足够多，在这个随机生成的特征空间里，原本复杂的非线性问题就有可能变得近似线性，然后输出层只需要在这个新的空间中做一个线性的组合。黄广斌等人从理论上证明，在一定的条件下，隐藏层参数随机生成的单隐藏层网络，同样具有万能逼近的能力。

优缺点

超限学习机最突出的优点是训练速度极快，常常比用反向传播训练的网络快几十倍甚至上千倍；需要调节的参数很少，主要就是隐藏层神经元的数量和正则化的系数；不存在陷入局部最优的问题。它被用于很多需要快速训练、实时更新的应用中，比如回归预测、分类、时间序列预测、在线学习等，并发展出了在线序贯、核方法、多层等多种变体。它的缺点是：由于隐藏层是随机的，通常需要比精心训练的网络多得多的隐藏神经元才能达到相近的效果；结果会受到随机初始化的影响；对于图像、语音、语言这类需要学习深层次特征的复杂任务，效果远不如深度学习。

学术上的争议

超限学习机在学术界曾引起较大的争议。一些研究者指出，“随机生成隐藏层、只训练输出层”的思想并不新鲜，与更早提出的方法非常相似，比如 Yoh-Han Pao 等人在 20 世纪 90 年代初提出的随机向量函数链网络，以及 Wouter Schmidt 等人在 1992 年的工作，认为超限学习机没有充分地引用和承认这些前人的工作。2015 年前后，包括深度学习先驱杨立昆在内的一些学者也公开地对超限学习机的原创性提出了质疑。这场争论反映了学术界对于正确引用前人工作的重视。此外，类似的“随机特征、只训练最后一层”的思想，在回声状态网络等储备池计算方法以及随机特征核方法中也有体现。