ARC-SORT:当体育赛事的追踪器学会怀疑自己
ARC-SORT是一种无需训练的体育视频多目标追踪方法,核心是让追踪器依据自身预测的不确定性动态调整匹配范围与身份判断时机,在SportsMOT和DanceTrack测试集上均取得领先效果,运行速度达每秒50帧。
你有没有想过,为什么篮球转播里球员突然变向超车那一瞬间,电视屏幕上追踪他的那个方框经常会跳到旁边人身上?
这不是转播技术的问题,是多目标追踪算法的老毛病。而这篇论文讲的,正是一群研究者怎么治好这个毛病。
**核心问题:两个麻烦同时发生**
多目标追踪,说白了就是让电脑在视频里认准每个人,不管画面怎么变,这个人始终叫"3号",那个人始终叫"7号",不能认错人。
目前主流的做法叫
tracking-by-detection*:先用一个检测器找出每一帧里所有人的方框位置,再用一套关联算法把不同帧里的方框串成一条条轨迹,判断哪些方框属于同一个人。
这套流派里最经典的是叫SORT的方法。
SORT*:Simple Online and Realtime Tracking,一种用卡尔曼滤波预测位置、再用重叠度匹配检测框的追踪算法家族,是这个领域事实上的基础框架。
它用卡尔曼滤波器预测每个人下一帧大概会出现在哪,然后拿这个预测位置和实际检测到的方框算重叠面积,重叠面积大就认为是同一个人。
这套逻辑在普通监控视频里跑得挺好,一到体育赛场就露馅了。原因很直接:运动员会突然变速变向,这正好戳中了卡尔曼滤波器的死穴,因为它默认目标是匀速直线运动的,一旦有人急刹变向,预测位置就完全偏了。更麻烦的是,转播摄像机自己还会摇镜头、推拉变焦,整个画面都在动,连带着方框的坐标系统也在飘。
过去的解决思路基本是"把容忍度放宽一点":把检测框按固定比例放大一些,或者按一个固定的时间表逐步放大,再或者按运动速度简单切换两档宽窄。这些做法有个共同毛病,宽窄是写死的,不管场上实际情况怎样都用同一套参数。而这篇论文的作者注意到一件被所有人忽略的事:追踪器自己其实知道它现在预测得准不准,这个信息就藏在卡尔曼滤波器的协方差里,但几乎没人真的拿这个数字去指导决策,顶多拿它当一道硬性门槛,不符合就直接拒绝匹配。
论文提出的ARC-SORT,核心思路就一句话:让追踪器用自己对自己的不确定性,去决定自己该怎么做。这句话听起来有点抽象,但拆开看其实很朴素,不确定的时候就多留点余地,确定的时候就收紧判断,而且这个"多留"和"收紧"的程度是连续变化的,不是简单的开关切换。
**不确定性驱动的搜索范围:IMM滤波器与自适应扩张IoU**
先说第一个机制。
论文用了一个叫
IMM*:Interacting Multiple Model,交互式多模型滤波器,同时跑多套运动模型(匀速、匀加速、转弯),根据哪个模型预测得更准来动态调整各模型的权重。
的卡尔曼滤波器,而不是只用一个简单的匀速模型。具体来说,它同时维护三套运动假设:一套假设目标匀速直线运动,一套假设目标在加速或减速,一套假设目标在转弯。每一帧,系统会根据实际观测结果,判断这三套假设里哪个更靠谱,然后动态调整权重。如果三套模型的预测结果彼此分歧很大,这本身就是一个信号,说明目标现在的运动状态很难判断,这种"模型之间吵架"的程度会被记录进一个叫协方差的统计量里。
这里要停一下解释一个词。
协方差*:这里指预测位置的不确定性范围,数值越大说明滤波器对预测结果越没把握。
有了这个协方差,论文做的事情很简单也很聪明:把它直接变成每个目标专属的"搜索半径"。他们提出了一个叫
EIoU*:Expansion IoU,扩张版重叠度,在计算两个方框重叠面积之前,先把方框按一定比例放大,放大比例越大,容忍的位置偏差就越大。
的指标,这个放大比例不是写死的固定值,而是实时根据协方差算出来的一个连续数字,公式上就是取水平和垂直方向标准差相对于框尺寸的比值,取较大的那个,乘以一个系数,再夹在一个最小值和最大值之间。翻译成人话就是:这个人现在跑得越飘忽、滤波器越看不准他下一步去哪,搜索框就放得越大;这个人动作规律、滤波器很有把握,搜索框就收得很紧,基本等于普通的重叠度匹配。
这里有个日常场景能说明白这个设计的必要性。想象你在火车站接一个很久没见的朋友,如果你提前知道他身高体型什么样,走路什么习惯,你站在出站口大概能一眼认出他,搜索范围可以很窄,就看那几个人。但如果你完全不认识这个朋友,只知道他大概什么时候出站,你就得把目光撒得很开,留意整个出站口的人群,因为你完全没法预判他会出现在哪个具体位置。如果反过来,你对一个熟悉的朋友也用"撒大网"的策略,大把目光四处游走,你反而会因为视野太宽、信息太杂而更容易认错人,把隔壁一个长相相似的路人错当成他。协方差驱动的扩张IoU做的正是这件事:熟悉的目标用窄搜索,不确定的目标用宽搜索,而且宽窄的程度跟不确定性的大小严丝合缝对应,不是一刀切。
如果不这么做会怎样?论文专门做了一组对照实验,把同样的协方差信息喂给不同的使用方式。结果很扎实:把协方差当成硬性门槛来用(超过某个阈值就直接拒绝匹配,这种做法在业内一个叫DeepSORT的经典方法里就是这么用的)反而会让追踪效果变差,而且不管这个门槛设多严多松,效果都不如完全不设门槛;用一个固定不变的放大系数,或者用简单的二档开关切换,效果介于两者之间,比硬门槛好,但明显不如连续自适应的方式;甚至尝试了更复杂的处理方式,比如把水平和垂直方向分开算两个不同的放大系数,或者用更精细的统计方法去估计重叠期望值,结果发现这些"更丰富"的用法并没有带来额外提升,跟最简单的那个标量公式几乎没差别。这说明这一个数字,就已经把协方差里对追踪有用的信息榨干了,再往复杂方向走是浪费功夫。
**十字路口的犹豫:延迟身份判定机制**
体育比赛里最容易出错的场景之一,是两名球员近距离交叉跑动的瞬间,俗称"交叉换位"。这个时刻恰恰是摄像机画面里两人重叠最严重、证据最模糊的时候,但传统追踪算法偏偏要在这个最糊涂的时刻立刻拍板决定谁是谁。
论文抓住了一个很细腻的观察点:关联算法在做身份匹配的时候,其实是在解一个优化问题,给每一种可能的配对方式打分,选分数最高的那种。这个打分过程里有个副产品被白白浪费了,那就是最优方案和"次优但是交换了两人身份"的方案之间,分差到底有多大。
论文给这个分差起了个名字,叫
permutation margin*:排列边际,指当前最优的身份分配方案,比交换两个目标身份后的方案,在总打分上领先多少。
如果这个分差很大,说明算法对自己的判断很有信心,交换身份会损失很多分;但如果分差很小,接近于零,说明算法其实是在两种差不多的可能性里勉强选了一个,换句话说,这个判断本质上接近于拋硬币。
ARC-SORT的做法是,当这个分差小于某个阈值的时候,不急着把这个决定写死,而是把这两条轨迹标记为"纠缠中",同时把交叉发生之前两人的外观特征存一份快照留档。接下来几帧甚至几十帧,系统持续观察这两条轨迹后续匹配到的外观证据,积累一个叫"排列似然"的分数,如果这个分数持续地、明显地指向"当初的判断反了",系统就会执行一次身份互换的修正,但整个过程里每一轮交叉纠缠最多只允许修正一次,防止反复折腾。
这个设计像什么呢。想象你在嘈杂的婚礼现场突然瞥见两个穿着相似西装的人擦肩而过,你一时没分清谁是谁。如果你是那种性格急躁的人,立刻拍脑袋认定一个,后面发现认错了也懒得改,那你接下来跟这两个人打招呼全都会叫错名字,一直错到散场。但如果你当时多留一个心眼,记下两人大致的外观细节,接下来几分钟继续偷偷观察,发现其中一个人的说话声音、动作习惯跟你记的对不上,你就有机会在合适的时机悄悄纠正过来,而且只纠正这一次,不会因为过度紧张又反复怀疑把自己绕晕。延迟判定做的正是这件事:把判断的时机从"证据最差的那一刻"推迟到"证据攒够了的那一刻",但又给这个纠正设了次数上限,不让系统陷入无休止的自我怀疑。
这个机制在两个官方测试集上都带来了精确的
+1.0 HOTA*:HOTA是Higher Order Tracking Accuracy,一种综合衡量检测准确度和身份关联准确度的追踪评估指标,数值越高说明追踪效果越好。
的提升,而且额外计算成本低于每帧一毫秒,几乎不花钱办了一件实事。
**长时间消失之后:只靠外貌认人**
足球比赛里经常出现这种情况:一个球员跑到摄像机镜头完全照不到的地方,过了好几秒才重新出现在画面里。论文的统计显示,在足球场景的验证集里,64%的身份切换错误发生在轨迹断裂超过20帧之后,其中97%是完全跑出镜头造成的,中位数断裂时长达到111帧,差不多四秒多。
这种情况下,运动预测彻底失效了。因为卡尔曼滤波器的本质是"假设运动有规律,所以能往后推算位置",但一个人消失四秒钟,这四秒里他可能加速冲刺、变向急停、甚至被别的队员挡住视线改变路线,位置预测的不确定性早就扩散到比整个画面还大,这时候再去比较预测位置和实际位置的重叠度,已经没有任何意义,等于拿着一张完全失效的地图找人。
论文的处理方式很干脆:在这种长时间断裂的场景下,干脆把运动信息这一环直接扔掉,只靠外观特征,也就是球衣颜色、体型轮廓这些视觉线索去判断两段轨迹是不是同一个人。具体做法是给每一段轨迹算一个"外观原型",也就是这段轨迹里所有帧的外观特征向量取平均,然后按照原型之间的相似度从高到低排序,相似度超过某个阈值并且断裂间隔不超过一定帧数的两段轨迹就被接起来。
更关键的是,论文还专门移除了传统方法里常见的一个"运动校验"步骤。传统做法通常会用轨迹消失前的末端速度去外推一个预测落点,如果重新出现的位置离这个预测落点太远,就否决这次合并,哪怕外观特征再像都不行。论文的实验证明,这个运动校验在长间隔场景下非但没用,反而是拖后腿的罪魁祸首。去掉它之后,在验证集上HOTA从79.2跳到84.1,涨了将近五个点;如果把这个校验的容忍度逐步放宽而不是直接去掉,效果也是单调改善的,从79.19一路涨到84.03,去掉得越彻底效果越好。
这里的类比也挺贴切。想象你是个来接机的人,朋友的航班延误了四个小时,你完全不知道他这四个小时经过了哪些安检口、走了哪些通道、中间会不会去买杯咖啡坐一会儿。如果你死守着"他应该沿着某条固定路线走出来"这个预判,反而会在人群里到处张望错的方向,甚至因为"这个人走的方向跟我预期的不一样"而对明明是他的人视而不见。但如果你放弃对路线的预判,单纯靠长相去认人,反而更靠谱。四个小时足够让任何路线假设失效,这时候死守运动假设就是在给自己添乱。
**实验结果说话:数据不撑不立**
论文在两个主流体育追踪数据集上做了系统评测,一个叫SportsMOT,专门收录篮球、足球、排球场景,运动剧烈又伴随镜头移动;另一个叫DanceTrack,场景里运动员动作复杂多变但镜头基本固定,正好用来单独检验运动建模部分的效果,排除掉镜头补偿的干扰。
在SportsMOT测试集上,ARC-SORT拿到了81.82的HOTA分数,在截至2026年8月的69个排行榜条目里排名第6,同时拿到了全榜最少的身份切换次数,仅1414次,MOTA指标97.09并列第三。更有说服力的一组对照实验是,论文直接拿业内另一个方法Deep-EIoU公开发布的检测结果和外观特征,不换任何输入数据,只换关联算法这一层,ARC-SORT能把HOTA从对方公布的77.20提升到80.31,涨了3.1个点,而这个提升几乎全部来自移除长间隔合并步骤里的运动校验这一项改动。这组对照很干净,因为输入完全一样,差异只能归因于关联策略本身。
在DanceTrack测试集上,ARC-SORT拿到62.1 HOTA,在不训练任何模型、使用公开检测结果的方法里是最强的,比用同样检测框和同样外观模型的Deep OC-SORT高出0.8个HOTA点、2.4个AssA点、5.0个IDF1点。这个对比的意义在于,两边用的原材料完全一样,谁的关联策略更聪明,分数就能看出来。不过论文也坦诚承认,那些专门针对DanceTrack训练了专属模型的方法,分数能比ARC-SORT高出7到8个HOTA点,差距主要体现在身份关联的准确度上,这是训练出来的专用模型相对于不训练任何东西的通用方法的天然优势。
论文还做了一个很扎实的消融实验,把协方差信息喂给好几种不同的使用方式,在完全相同的输入数据上比较。硬性门槛式的使用方式(也就是业内常说的Mahalanobis veto)效果最差,HOTA只有76.53,而且无论门槛设得多宽都追不上完全不设门槛的77.04;固定扩张系数效果好一些,达到77.04;二档开关式的切换能到77.24;论文自己提出的连续自适应方式达到77.97,是这几种里最高的;而更复杂的处理方式,比如分方向计算两个独立系数,或者用更精细的概率积分方法,分数都跟77.97几乎一样,没有额外收益。这组数据很直白地说明了一件事:协方差里对关联任务有用的信息,一个简单的标量就能完全捕捉,再往复杂方向堆砌没有意义。
延迟身份判定机制的消融实验显示,在逻辑完全不干预、只记录不执行的情况下,论文统计到DanceTrack验证集上出现了640次"纠缠"事件,SportsMOT验证集上出现135次,平均每个序列分别25.6次和3.0次,这个差异恰好对应两个数据集的运动复杂度差异。打开干预机制之后,SportsMOT验证集HOTA从77.97涨到78.80,DanceTrack验证集从56.86涨到58.36,两个测试服务器都确认了恰好1.0个百分点的提升。论文还做了人工抽样核查,在SportsMOT验证集上抽查25次身份互换,11次被确认是正确的修正,0次被确认是错误的修正,剩下的因为遮挡太严重人工也判断不了。
运行速度方面,整套系统在一台配备RTX 3060笔记本显卡的机器上,纯关联计算部分能跑到204.8帧每秒,加上实时提取外观特征后降到64.8帧每秒,算上JPEG图像解码的完整流程还能保持50.7帧每秒,这个速度远超体育转播通常要求的25帧每秒的实时底线。相比之下,论文列出的多数需要训练专属模型的竞争方法,端到端速度大多在30帧每秒以下。
Q&A
Q1:ARC-SORT是什么?
A:ARC-SORT是一种不需要训练任何模型的体育视频多目标追踪算法,核心思路是让追踪器根据自己预测的不确定程度,动态调整匹配范围和身份判断的谨慎程度。
Q2:ARC-SORT相比传统SORT方法最大的改进是什么?
A:主要有三点,用协方差动态调整搜索范围而不是固定容忍度,用交叉时的打分差距延迟并修正容易出错的身份判断,长时间断裂后放弃失效的运动预测只靠外观特征重新识别。
Q3:ARC-SORT的追踪效果怎么样?
A:在SportsMOT测试集上HOTA达到81.82分,69个排行榜条目里排名第6且身份切换次数最少;在DanceTrack测试集上达到62.1 HOTA,是不训练模型方法里的最强表现,运行速度约每秒50帧。