SlowFocus: Enhancing Fine-grained Temporal Understanding in Video LLMSlowFocus：用混合频率采样增强视频大模型的细粒度时序理解

现有视频大模型受限于计算资源，只能在「采样帧率」和「单帧token数」之间取舍：稀疏采样丢时序细节，单帧过度压缩丢空间语义，两者都会削弱细粒度时序理解。SlowFocus 提出先用低频全局帧定位问题相关的时间片段，再只在该片段内做高频密集采样获取局部细节，并用多频混合注意力把局部高频特征与全局低频上下文融合后喂给语言模型。配合三阶段训练策略与新提出的 FineAction-CGR 基准，该方法在不增加token预算前提下等效提升采样频率，在时序定位与推理任务上明显超过现有 Vid-LLM。

视频大模型为把视频塞进LLM的输入长度限制，通常在原始视频上稀疏降采样（如每秒取1帧），再用池化或Q-Former把每帧压缩成少量token。固定总token数下，采样频率和单帧token数只能此消彼长：低频采样漏掉短时间窗口内的关键细节，过度压缩又丢失帧内语义空间信息。这个矛盾在细粒度时序理解任务上尤为明显，现有模型常因低频采样遗漏细节而回答不准或产生幻觉，已有基准也难以充分考验这类能力。

关键贡献

• 提出 SlowFocus 机制，用「先定位相关片段、再局部密集采样」的方式打破帧率与单帧token数之间的固有权衡。
• 设计多频混合注意力（MMA）模块，把局部高频细节特征与全局低频上下文特征自适应融合后再送入语言模型。
• 提出离散化时序编码器，把非均匀分布的多频帧显式编码为相对时间位置token，弥补LLM隐式建模时序关系的不足。
• 设计三阶段训练策略（模态对齐、边界增强、SlowFocus适配），使模型逐步获得时序定位与细粒度推理能力。
• 构建 FineAction-CGR 基准，覆盖分段字幕、时序定位、时序推理与多轮QA四类细粒度时序理解任务。

总体思路

SlowFocus 把视频理解拆成「先粗看、再细看」两步：先用固定间隔的低频采样得到全局帧，让语言模型根据问题判断出与之相关的时间片段；再只在这个片段内做高密度采样，抽取局部高频视觉特征；最后用一个多频混合注意力模块把局部高频细节和全局低频上下文融合，连同问题一起交给语言模型生成答案。这样在不增加总体视觉token预算的前提下，等效提高了关键片段的采样频率，从而缓解「采样频率」与「单帧token数」的固有权衡。

相关片段定位

模型首先对整段视频做低频采样得到帧集合 $V_L$，编码为视觉token $h_L$；随后把原始问题 $q$ 改写成一个时序定位提示 $q_1$（例如「请给出有助于回答该问题的时间片段」），让语言模型基于全局低频信息预测出相关片段 $\tau$：

$$\tau = L([h_{L}, h_{q_1}])$$

这里 $\tau \subset [0, T]$ 是模型自己判断出的、包含关键细节的时间区间，整个过程只依赖粗粒度的全局帧，计算量很小。

混合频率采样

定位到片段 $\tau$ 后，模型在该片段内按需动态调整采样间隔 $M_H$，抽取固定数量 $N_H$ 的高频帧 $V_H$：

$$V_H = \{V(M_{H}t) \in \mathbb{R}^{H \times W \times 3} \mid t \in \tau\},\quad M_H = \max\!\left(\frac{|\tau|}{N_H}, 1\right)$$

片段越短，采样间隔越小、密度越高，从而保证无论片段长短都能在其中拿到足够数量的高频细节帧 $h_H$；再把问题改写为附带「额外时序线索」的 $q_2$，与融合后的视觉token一起送入语言模型生成最终回答：

$$ans = L([h_L, \pi(h_L, h_H), h_{q_2}])$$

多频混合注意力

低频特征偏「粗略全局」、高频特征偏「精细局部」，二者性质差异很大，直接拼接效果有限，且细粒度理解往往需要把多个事件之间的关系联系起来，因此需要把全局上下文重新注入局部高频特征。为此设计了以高频特征为Query、低频特征为Key/Value的交叉注意力 $\pi$：

$$\pi(h_L, h_H) = \operatorname{softmax}\!\left(\frac{h_{H}h_{L}^{T}}{\sqrt{d}}\right)h_L$$

这一步让每个高频局部token都能按需从全局帧里检索相关上下文，弥补局部特征缺乏的全局视野，而不是简单堆叠两套特征。

时序关系建模

语言模型只能依据token在序列中的排列顺序隐式感知时间关系，但SlowFocus产生的多频帧在时间轴上并非均匀分布（片段内密、片段外疏），仅靠位置顺序不足以准确表达真实的时间跨度。为此引入一个时序编码器，把连续时间离散化为 $N$ 个时序token $\mathcal{E} \in \mathbb{R}^{N \times C}$，帧 $V(t)$ 对应的时序编码索引为：

$$i = \left\lfloor N \cdot \frac{t}{T} \right\rfloor$$

得到的时序嵌入直接加到对应帧特征上，让模型显式获知每一帧在原视频中的相对时间位置，而不必依赖token排列顺序去猜测。

三阶段训练策略

训练分三步递进：第一阶段冻结视觉编码器与LLM，只训练视觉适配器和时序编码器，用图文与视频字幕数据做模态对齐；第二阶段引入密集视频字幕、片段字幕与时序定位任务，强化模型对时间边界的感知，并用LoRA微调LLM；第三阶段用真实的时序片段 $\tau_{GT}$ 驱动混合频率采样，只训练LLM与MMA模块，让模型真正适配SlowFocus这种混合频率输入模式。这种分阶段设计避免了直接端到端训练时定位能力和细粒度推理能力互相干扰。

小结

SlowFocus 的关键是用「问题驱动的片段定位 + 局部密集采样 + 混合频率注意力融合」把有限的token预算精准投放到真正需要细看的时间区间，而不是均匀撒给整段视频。

以 LLaMA-VID 为基线、Vicuna-7B v1.5 为LLM，8张V100分三阶段训练。评测覆盖自建 FineAction-CGR 基准、粗粒度问答基准（MSVD/MSRVTT/ActivityNet-QA）及长视频基准（MovieChat-1K、EgoSchema），SlowFocus 细粒度任务领先。

关键数据

SlowFocus 把「先定位、再精读」的人类式视频理解习惯引入 Vid-LLM 的采样策略，为在有限计算预算下兼顾帧级细节与全局时序覆盖提供了一条可复用的思路，也为后续细粒度时序理解方法的评测提供了 FineAction-CGR 这一专门基准。

局限与不足

该方法目前只在时间维度上做了精细化处理，对帧内空间分辨率的建模仍延续原有视觉编码器和适配器的压缩方式，论文自身也指出由于现有研究在视频高分辨率保持方面积累有限，模型仍可能因空间细节的模糊性而产生不准确的预测。此外，片段定位 $\tau$ 完全依赖LLM基于低频全局帧一次性预测，若定位本身出错，后续的高频采样与推理都会建立在错误的时间片段上，缺乏定位结果的校验或迭代修正机制；训练与推理还引入了额外的时序定位前置步骤和多频采样超参数（如 $N_H$、时序空间 $N$），增加了整体流程的复杂度和调参成本。