稀疏度灾难是什么？自动驾驶难以学会罕见危险场景的根源

稀疏度灾难（Curse of Rarity）是自动驾驶领域中一个关键的科学问题。它指的是：在真实的驾驶环境中，交通事故等安全攸关事件的发生概率极低，这些事件在驾驶数据中极为稀疏，导致深度学习模型很难学到它们的特征。密歇根大学刘向宏教授团队等研究者对这一问题进行了系统的阐述，相关文章发表在《自然》杂志等期刊上。

为什么危险事件这么难学

人类司机平均要行驶几十万甚至上百万公里，才会遇到一次严重的事故。对于自动驾驶系统来说，绝大部分的驾驶数据都是平淡无奇的正常行驶：直行、跟车、等红灯。真正考验安全性的危险场景，比如有人突然从视线盲区冲出、前车掉落货物、极端恶劣天气下的路况，在数据中只占极其微小的比例。深度学习模型需要大量的例子才能学会一种模式，而这些关键的危险场景，恰恰是例子最少的。

“灾难”体现在哪里

研究指出，随着安全攸关事件的稀疏程度增加，深度学习中梯度估计的方差会急剧增大。直观地理解：模型在训练时，大部分批次的数据中根本没有危险事件，偶尔出现一次，提供的学习信号又极不稳定，模型很难从中稳定地学到有用的规律。这不是简单地多收集一些数据就能解决的：危险事件越罕见，要收集到足够数量的样本所需的总数据量就越庞大，增长到难以承受的程度。

它也给自动驾驶的安全验证带来了困难：要用实际道路测试来统计证明自动驾驶比人类司机更安全，需要的测试里程是天文数字，有研究估算需要数亿甚至上百亿公里。

如何应对

研究者提出了多种思路：在仿真环境中有针对性地生成和放大危险场景，用“加速测试”的方式，让测试车在虚拟环境中频繁地遇到各种危险情况，从而大幅缩短验证所需的里程，刘向宏团队提出的“密集深度强化学习”就是这样的方法；从海量的真实驾驶数据中，通过影子模式等方式自动挖掘罕见的场景；用生成模型合成逼真的危险场景数据；以及在训练中对罕见事件进行重点采样或加权。稀疏度灾难的研究，对医疗诊断中的罕见病识别、金融风控中的极端风险预测等其他安全攸关领域也有借鉴意义。