脉冲神经网络 SNN 是什么？用电脉冲传递信息的第三代神经网络

脉冲神经网络（Spiking Neural Network，SNN）是一种更接近生物大脑工作方式的神经网络模型，处于神经科学和人工智能的交叉点。它能够模拟大脑中生物神经元的行为，常被称为第三代神经网络：第一代是只输出 0 或 1 的感知机，第二代是今天广泛使用的、输出连续数值的深度神经网络。

它和普通神经网络有什么不同

在今天常用的人工神经网络中，每个神经元接收输入后，经过计算输出一个连续的数值，比如 0.73，信息在每一层之间同步地、一次性地传递。而在大脑中，神经元之间是靠一个个短暂的电脉冲，也叫“动作电位”或“尖峰”来交流的。

脉冲神经网络模仿的正是这种方式。它的神经元有一个“膜电位”，可以理解为神经元内部积累的电荷：接收到其他神经元发来的脉冲时，膜电位会上升；没有输入时，膜电位会逐渐衰减。当膜电位积累到超过某个阈值时，这个神经元就“发放”一个脉冲，传递给与它相连的其他神经元，然后膜电位重置。最常用的这类神经元模型叫“泄漏积分发放”（LIF）模型。在脉冲神经网络中，信息不仅由有没有脉冲来表示，还可以由脉冲发放的频率、精确的时间来编码，时间本身成了信息的一部分。

优点

低功耗：神经元只在发放脉冲时才产生计算和通信，大部分时间处于安静状态，是一种事件驱动的计算方式。在专门的神经形态芯片上运行时，功耗可以比传统神经网络在 GPU 上运行低得多，非常适合电量有限的设备。天然处理时间信息：适合处理随时间变化的数据流，比如来自事件相机或音频传感器的信号。更接近生物：有助于神经科学研究，理解大脑是如何处理信息的。

挑战

最大的难点是训练。脉冲的发放是一个“要么发、要么不发”的离散事件，这个过程不可微分，无法直接使用深度学习中最核心的反向传播算法来训练。研究者为此提出了多种方法：用平滑的“替代梯度”来近似脉冲函数的梯度；先训练一个普通的神经网络，再把它转换成脉冲神经网络；以及借鉴生物学习规则的方法，比如脉冲时序依赖可塑性（STDP）。目前，脉冲神经网络在很多任务上的准确率还不如主流的深度学习，而且要发挥低功耗的优势，往往需要配合专门的神经形态硬件。近年来也有研究尝试构建脉冲版本的大语言模型，探索更节能的 AI。