感受野是什么?卷积神经网络一个点能“看到”多大范围
TL;DR感受野原是神经科学概念,指一个神经元能响应的刺激区域;在卷积神经网络中,指某层特征图上的一个点对应原始输入图像上的区域大小,决定了网络能捕捉多大范围的信息。
感受野(Receptive Field)是描述神经网络中一个单元能“看到”多大输入范围的概念。在卷积神经网络(CNN)中,它的定义是:某一层输出的特征图上的一个点,对应到原始输入图像上的区域有多大。感受野越大,这个点汇聚的信息范围就越广。
来自生物视觉研究
感受野的概念源自对生物视觉系统的研究。感受器受到刺激而兴奋时,会通过神经元把神经冲动逐级传到更高级的中枢。一个神经元能够响应的那片刺激区域,就叫作这个神经元的感受野。比如视网膜上的某个神经元,只对视野中某一小块区域的光线变化有反应。20 世纪 50 到 60 年代,Hubel 和 Wiesel 对猫视觉皮层的研究发现,不同层级的神经元感受野大小不同、对不同的图案敏感,这启发了后来卷积神经网络的层级设计。研究者在构建模拟生物视觉的人工神经网络时,借用了这个概念。
在卷积网络中怎么变化
卷积网络的第一层,每个点只由输入图像上很小的一块(比如 3×3 个像素)计算得来,感受野很小,只能识别边缘、颜色这类局部特征。随着网络层数增加,每一层都在上一层的基础上再做卷积,感受野逐层扩大,深层的点能综合图像上更大范围的信息,识别出眼睛、轮子,乃至整张脸、整辆车这类高级特征。池化、使用更大的卷积核、增大步长,以及空洞卷积,都能更快地扩大感受野。
为什么重要
感受野决定了网络能捕捉多大范围的上下文。做目标检测时,要识别大物体,就需要足够大的感受野覆盖整个物体;做语义分割时,判断一个像素属于什么,往往需要参考周围较大范围的内容。研究还发现,“有效感受野”通常比理论计算出的感受野小,中心区域的影响远大于边缘。视觉 Transformer 通过自注意力,让每个位置从第一层起就能关注整张图像,在一定程度上绕开了卷积网络感受野受限的问题。