SORT 是什么？简单高效的视频多目标跟踪算法

SORT（Simple Online and Realtime Tracking，简单在线实时跟踪）是一种实用的多目标跟踪方法，由澳大利亚昆士兰科技大学和悉尼大学的研究人员在 2016 年的 IEEE 国际图像处理会议（ICIP）上提出。它专注于用简单高效的算法实现实时跟踪，在当时以极快的速度取得了有竞争力的效果。

多目标跟踪是什么

多目标跟踪要解决的问题是：在一段视频中，同时追踪多个目标，比如画面里的每一个行人或每一辆车，并且在每一帧中都知道“这个人”是“之前那个人”，给每个目标一个持续不变的编号。目标检测只能在每一帧中找出“这里有个人”，但不知道这一帧的人和上一帧的人是不是同一个，跟踪就是要把各帧的检测结果串联起来。这在安防监控、自动驾驶、体育赛事分析、客流统计中都有广泛应用。

SORT 怎么做

SORT 采用“先检测、再跟踪”的思路：先用一个目标检测器在每一帧中找出所有目标的位置，然后专注于解决“如何把相邻帧的检测结果对应起来”这个问题。它主要用到两个经典的算法。

卡尔曼滤波：用来预测每个目标在下一帧会出现在哪里。SORT 为每个被跟踪的目标建立一个简单的匀速运动模型，记录它的位置、大小和运动速度，根据它在之前几帧中的运动，预测它在当前帧的位置，再用当前帧的实际检测结果来修正这个预测。

匈牙利算法：用来把预测和检测配对。在当前帧，有一组根据之前的轨迹预测出的位置，也有一组新检测到的目标位置，需要找出最合理的一一对应。SORT 用两者边框的重叠程度（交并比）来衡量匹配的好坏，匈牙利算法能高效地找出整体最优的匹配方案。匹配成功的，就延续原来的编号；没有匹配上的检测，被视为新出现的目标；长时间没有匹配上的轨迹，被认为目标已经离开画面。

特点和后续

SORT 的一个显著特点是不使用检测框内的外观特征，只依赖位置和运动信息，因此速度非常快，在当时能以每秒数百帧的速度运行。论文也指出，跟踪效果在很大程度上取决于检测器的质量。它的缺点是：当目标被遮挡后重新出现，或者两个目标交错而过时，容易把编号弄混，发生“身份切换”。2017 年提出的 DeepSORT 在它的基础上加入了用深度网络提取的外观特征，大大减少了身份切换，成为最广泛使用的跟踪算法之一。后来的 ByteTrack、OC-SORT 等方法也沿用了 SORT 的基本框架。