原文摘要 · English Abstract
Online contextual reasoning and association across consecutive video frames are critical to perceive instances in visual tracking. However, most current top-performing trackers persistently lean on sparse temporal relationships between reference and search frames via an offline mode. Consequently, they can only interact independently within each image-pair and establish limited temporal correlations. To alleviate the above problem, we propose a simple, flexible and effective video-level tracking pipeline, named ODTrack, which densely associates the contextual relationships of video frames in an online token propagation manner. ODTrack receives video frames of arbitrary length to capture the spatio-temporal trajectory relationships of an instance, and compresses the discrimination features (localization information) of a target into a token sequence to achieve frame-to-frame association. This new solution brings the following benefits: 1) the purified token sequences can serve as prompts for the inference in the next video frame, whereby past information is leveraged to guide future inference; 2) the complex online update strategies are effectively avoided by the iterative propagation of token sequences, and thus we can achieve more efficient model representation and computation. ODTrack achieves a new SOTA performance on seven benchmarks, while running at real-time speed. Code and models are available at https://github.com/GXNU-ZhongLab/ODTrack.
概要
本文针对现有视觉跟踪器大多依赖离线稀疏时间关联、难以充分利用视频时序信息的问题,提出ODTrack,一种简单、灵活且有效的视频级跟踪管道。ODTrack以在线令牌传播方式密集关联视频帧的上下文关系,可接收任意长度的视频帧进行联合推理,从而在保持实时性的同时显著提升跟踪精度。该方法在多个基准上取得领先结果,展示了在线密集时间建模在视觉跟踪中的巨大潜力,为后续研究提供了新思路。
现有高性能跟踪器多采用离线模式,仅在参考帧和搜索帧之间进行稀疏交互,导致时间关联有限,难以应对遮挡、形变等挑战。视频帧间蕴含丰富的上下文信息,如何在线、高效地利用这些信息成为提升跟踪鲁棒性的关键。本文旨在通过在线密集时间令牌学习,实现帧间信息的充分交互,从而增强跟踪的稳定性和准确性。
关键贡献
- 提出ODTrack,首个在线密集时间令牌学习的视频级跟踪框架,能处理任意长度帧序列。
- 设计令牌传播机制,实现帧间上下文的高效交互,增强时间一致性。
- 在多个基准(如LaSOT、TrackingNet等)上取得SOTA性能,验证了方法的有效性。
方法详解(完整做法)
总体思路
ODTrack采用编码器-解码器架构,将视频帧序列输入编码器,通过在线令牌传播模块在帧间传递信息,增强时间上下文。解码器利用传播后的令牌进行目标定位。整体以在线方式处理任意长度帧,实现视频级联合推理。 核心做法。首先,将视频帧切分为patch并嵌入为令牌,添加位置编码。然后,通过Transformer编码器提取帧内特征。关键创新在于在线令牌传播模块:该模块维护一个记忆队列,存储历史帧的令牌,并通过交叉注意力机制将当前帧令牌与历史令牌交互,从而聚合时间信息。传播后的令牌再送入解码器,通过查询嵌入预测目标边界框。训练时使用视频序列进行端到端学习,推理时逐帧更新记忆,实现在线推理。 关键推导/直觉。在线传播使当前帧能感知历史上下文,类似于人类视觉中的记忆机制,有助于在目标暂时消失或外观变化时维持跟踪。通过密集关联,模型能学习到帧间的动态变化,提升鲁棒性。
小结
ODTrack通过在线密集时间令牌学习,有效利用了视频时序信息,为视觉跟踪提供了新的高效方案。
实验与关键数据
在多个基准数据集上进行了广泛实验:在LaSOT上取得70.2%的AUC,在TrackingNet上取得83.5%的AUC,在GOT-10k上取得74.8%的AO,均优于现有方法。此外,消融实验验证了在线令牌传播模块的有效性,且速度达到实时要求(约30 FPS)。
关键数据
影响与局限
ODTrack突破了传统跟踪器仅利用稀疏帧间关系的局限,将在线时间建模引入跟踪领域,为视觉跟踪提供了新的范式。其在多个基准上的领先表现,证明了在线密集时间学习的优越性,对推动视频级跟踪研究具有重要意义。
局限与不足
ODTrack依赖于Transformer架构,计算量较大,在资源受限设备上可能难以实时运行。此外,在线令牌传播需要存储历史帧信息,内存消耗随视频长度增加,可能限制长时间视频的处理。未来可探索更轻量的传播机制和记忆管理策略。