自适应谐振理论 ART 是什么？学新东西又不忘旧东西的神经网络

自适应谐振理论（Adaptive Resonance Theory，ART）是一种关于大脑如何学习和识别模式的理论，也是基于这一理论构建的一类神经网络。它由美国波士顿大学的斯蒂芬·格罗斯伯格在 1976 年前后提出，并与盖尔·卡彭特一起在 20 世纪 80 年代发展出了一系列具体的网络模型。它要解决的核心问题是：如何在不断学习新知识的同时，不忘记已经学会的旧知识。

稳定性-可塑性困境

一个能够持续学习的系统面临着一个两难：它需要有“可塑性”，能够不断地学习新的模式；同时又需要有“稳定性”，已经学会的知识不能被新的学习轻易地破坏。格罗斯伯格把这称为“稳定性-可塑性困境”。普通的神经网络在学习新的数据时，往往会大幅地改变参数，把之前学到的东西覆盖掉，这就是后来所说的“灾难性遗忘”。而人的大脑能够在一生中不断地学习新东西，却很少因此忘掉旧的知识。自适应谐振理论试图解释并模仿大脑是如何做到这一点的。

它是怎么工作的

一个典型的自适应谐振理论网络包含两层：比较层，接收输入的模式；识别层，其中的每个神经元代表一个已经学到的类别。当一个新的输入到来时：首先，识别层的神经元之间进行竞争，与输入最相似的那个神经元获胜，这与竞争学习中“胜者通吃”的方式相同。然后，获胜的神经元会把它所代表的类别的“原型”自上而下地送回比较层，与实际的输入进行比较。这时有一个关键的参数，叫作警戒参数，它规定了“多相似才算足够相似”。如果输入与这个类别的原型足够相似，达到了警戒参数的要求，网络就进入“谐振”状态，认为这个输入属于这个类别，并用它来更新这个类别的原型。如果相似度不够，网络就会“重置”：暂时抑制这个获胜的神经元，让识别层重新竞争，尝试第二相似的类别。如果所有已有的类别都不够相似，网络就会启用一个新的神经元，为这个输入创建一个全新的类别。

这种机制的妙处在于：只有当新输入与某个已有类别足够匹配时，才会修改这个类别；与已有类别差别很大的新输入，会被分配到新的类别中，而不会去破坏已有的知识。这样，网络就能够在学习新模式的同时，保持旧知识的稳定。

警戒参数的作用

警戒参数决定了分类的粗细程度：设得高，要求输入与类别非常相似才算匹配，网络会划分出很多个精细的类别；设得低，比较宽松，网络会形成较少的、较粗的类别。这类似于人在不同的场合，有时只需要粗略地分类，有时需要精细地区分。

不同的版本与意义

ART-1 处理二值的输入，ART-2 可以处理连续值的输入，Fuzzy ART 引入了模糊逻辑，ARTMAP 是一种有监督的版本，可以用于分类。自适应谐振理论网络能够在线地、增量地进行学习，不需要事先指定类别的数量，被用于模式识别、聚类、图像处理和机器人等领域。更重要的是，它是最早系统地思考持续学习和灾难性遗忘问题的工作之一，它所提出的稳定性与可塑性之间的权衡，至今仍是持续学习研究中的核心问题。格罗斯伯格的理论也对认知科学和神经科学产生了深远的影响。