学习规则是什么？神经网络调整连接权重所遵循的规则

学习规则（Learning Rule）是指神经网络在学习过程中，用来调整神经元之间连接权重的规则或算法。神经网络的“知识”就存储在这些连接的权重中，学习规则决定了网络如何根据接收到的数据和得到的反馈，一步步地修改权重，从而学会完成某项任务。在描述一个神经网络模型时，人们常常把它分为网络结构、激活规则和学习规则三个方面。

赫布规则

1949 年，加拿大心理学家唐纳德·赫布在《行为的组织》一书中提出了一个关于大脑学习的假说：如果一个神经元反复地参与激活另一个神经元，那么它们之间的连接就会增强。这常被概括为一句话：“一起激活的神经元连接在一起”。赫布规则是最早的学习规则之一，它只依赖于连接两端神经元的活动，不需要任何外部的“老师”告诉网络正确答案，是一种无监督的学习规则。这个假说后来在神经科学中得到了一定的实验支持，比如长时程增强现象。但单纯的赫布规则有一个问题：权重会不断地增大，没有上限，因此后来出现了各种改进，比如 Oja 规则通过加入归一化让权重保持稳定，并且能学到数据的主成分方向。

感知机规则

1957 年，弗兰克·罗森布拉特为他的感知机设计了一种简单的学习规则：如果感知机对一个样本的分类是正确的，就不改变权重；如果分错了，就把权重朝着能把这个样本分对的方向调整一点。这是一种有监督的学习规则，需要知道每个样本的正确类别。对于线性可分的数据，它保证能在有限的步数内找到一个正确的分界线。

delta 规则

1960 年，斯坦福大学的 Bernard Widrow 和 Marcian Hoff 提出了 delta 规则，也叫最小均方规则或 Widrow-Hoff 规则，用于训练他们的自适应线性神经元 ADALINE。它的思路是：计算网络的实际输出与期望输出之间的误差，然后按照误差的大小成比例地调整每个权重，误差越大，调整幅度越大。这实际上就是用梯度下降来最小化误差的平方，与感知机规则相比，它能更平滑地逼近最优解，即使数据不是线性可分的也能收敛到误差最小的解。这一方法至今仍被用于自适应滤波，比如通信中的回声消除。

反向传播

delta 规则只能用于单层网络，因为只有输出层的误差是直接知道的。对于多层神经网络，隐藏层的神经元应该如何调整，曾经是一个难题。1986 年，大卫·鲁梅尔哈特、杰弗里·辛顿和罗纳德·威廉姆斯推广了反向传播算法，它可以看作 delta 规则在多层网络上的推广：利用链式法则，把输出层的误差一层层地传回到隐藏层，计算出每个权重对误差的影响，再用梯度下降进行调整。反向传播加上梯度下降，至今仍是训练几乎所有深度神经网络的学习规则。

其他学习规则

竞争学习规则：输出神经元相互竞争，只有获胜的神经元调整权重，使它更接近当前的输入，自组织映射等网络使用这一规则。玻尔兹曼机学习规则：比较网络在看到数据时和自由运行时，连接两端的神经元同时激活的频率，据此调整权重。脉冲时序依赖可塑性（STDP）：在脉冲神经网络和神经科学中研究的一种规则，根据两个神经元发放脉冲的先后顺序来增强或减弱连接，如果前一个神经元的脉冲稍早于后一个，连接增强，反之减弱，被认为更接近大脑中真实的学习机制。关于大脑是否以及如何实现类似反向传播的学习，至今仍是神经科学和人工智能共同关注的问题。