事件相机是什么?只记录亮度变化的新型视觉传感器
事件相机(Event-based Camera),也叫动态视觉传感器(DVS),是一种工作原理完全不同于普通相机的视觉传感器。普通相机以固定的帧率,比如每秒 30 帧,一张一张地拍下完整的画面;事件相机则不拍“照片”,而是让每个像素独立地检测亮度的变化:只有当某个像素看到的亮度变化超过一定阈值时,它才输出一个“事件”。每个事件包含时间戳、像素坐标,以及亮度是变亮还是变暗(极性)。画面中没有变化的地方,就不产生任何数据。DAVIS(动态和有源像素视觉传感器)是一种同时输出事件和普通图像帧的事件相机。
灵感来自生物视网膜
事件相机的设计受到生物视网膜的启发:我们的眼睛对变化和运动特别敏感,视网膜神经元在感受到光线变化时才发出信号,而不是持续不断地报告整个视野的画面。事件相机的研究可以追溯到上世纪八九十年代的神经形态工程研究,2000 年代后期苏黎世大学和苏黎世联邦理工学院等机构研制出了实用的动态视觉传感器,此后逐渐走向商业化。
有什么优势
极高的时间分辨率:事件以微秒级的精度异步输出,能捕捉极快的运动,不会出现普通相机的运动模糊。高动态范围:每个像素独立地对相对亮度变化做出响应,能同时看清极亮和极暗的区域,比如从隧道驶出时的强光,或者夜间的场景。低延迟、低功耗、低数据量:只传输变化的信息,静止的背景不产生数据,节省了带宽和计算。
挑战和应用
事件相机输出的不是图像,而是一串稀疏、异步的事件流,传统的计算机视觉算法和深度学习模型无法直接处理,需要专门的算法,比如把事件转换成类似图像的表示,或者使用脉冲神经网络等更适合处理事件流的模型。它在静止不动的场景中几乎“看不见”东西,也难以直接获得颜色和纹理信息。事件相机被用于高速运动跟踪、无人机和机器人的快速避障、自动驾驶在极端光照下的感知、手势识别、工业高速检测等领域,也是神经形态计算研究的重要方向之一。