QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video UnderstandingQSVideo：面向视频理解的查询条件语义时序检索

视频VLM处理长视频时性能随时长下降，简单增加采样帧数无法稳定提升精度，反而显著增加显存开销。人类看视频会带着问题主动搜证据：关注相关片段、避免反复看相似画面、在不同时段找互补线索。QSVideo把这一行为形式化为联合优化问题——在严格帧预算下同时平衡相关性、多样性与时间覆盖——并设计 QSRanker（把问题改写成检索友好的查询并沿物体/动作/位置三维打分）与 QSRetrieval（贪心选帧并按长/流视频设计不同时间窗口遍历策略）两模块求解，二者即插即用地接到现有视频VLM骨干之上。

视频VLM回答问题时，与查询无关的片段会干扰语言模块推理，而增加采样帧数不能稳定提升精度，还会显著增加显存占用。已有检索方案有三个问题：直接用原问题当查询，多选题干扰项会污染相关性估计；只按单一相关性排序，易选出语义相近、信息增益低的冗余帧；选中证据常集中在局部时间段，而长视频关键线索可能分布在相距很远的时间点，造成“时间坍塌”。QSVideo针对这三点分别设计了问题改写、多样性正则和时间窗口遍历机制。

关键贡献

• 提出 QSVideo 统一框架，在严格帧预算下显式联合建模相关性、多样性与时间覆盖三个此前被分开处理的维度
• 设计 QSRanker，先用问题分析器把任意形式的问题改写为检索友好的查询并估计物体/动作/位置三维重要性权重，再用结构化语义打分替代以往的二元相关性判断
• 构建含35K视频-查询对的微调数据集，利用大规模VLM自动生成帧级语义相关性标签，对轻量VLM打分器做监督微调
• 提出 QSRetrieval，用贪心算法联合优化查询相关性与视觉多样性，并针对长视频（锚点+局部扩展）与流式视频（由近及远回溯）设计不同的时间窗口遍历策略
• 在 LVBench 与 StreamingBench 上验证 QSVideo 能大幅提升多种8B级视频VLM骨干的准确率，且推理延迟远低于同类检索方法，具备即插即用与高效部署的优势

总体思路

QSVideo 把“给定问题从长/流视频里挑出 K 帧证据”形式化为一个联合优化问题：既要挑出与查询语义相关的帧，又要让挑出的帧之间视觉上尽量不同（降低冗余），还要让这些帧分布覆盖足够长的时间跨度。为求解这个目标，QSVideo 设计了两个级联模块：QSRanker 先把任意形式的问题改写成检索友好的查询，并沿物体、动作、位置三个维度给每个候选帧打结构化相关性分；QSRetrieval 再用贪心算法，在相关性与视觉多样性之间权衡着逐帧选择，并针对长视频与流式视频分别设计了不同的时间窗口遍历顺序，从而在严格帧预算下尽量覆盖分散在视频各处的关键证据。选出的帧最终交给下游的视频 VLM 骨干做问答，QSRanker 与 QSRetrieval 本身对骨干模型是无感的，可即插即用。

问题建模：相关性-多样性-时间覆盖的联合目标

给定查询 $q$ 与帧序列 $\mathcal{V}=\{v_i\}_{i=0}^{T_V}$，目标是找到大小为 $K$ 的子集 $A$，同时最大化总相关性与两两多样性，并满足时间覆盖的下界约束：

$$\max_{A \subseteq \mathcal{V}} \Bigg\{ \sum_{v_i \in A} \operatorname{Relevance}(q, v_i),\; \sum_{\substack{v_i, v_j \in A \\ i \neq j}} \operatorname{Diversity}(v_i, v_j) \Bigg\} \quad \text{s.t.}\quad |A| = K,\ \sum_{i \in A} \operatorname{T}(v_i) \ge \Gamma$$

其中时间覆盖度量 $\sum_{i\in A}\operatorname{T}(v_i)$ 用来抑制“时间坍塌”：选中帧集中在狭窄时间段会降低有效信息密度，而更宽的覆盖能提升长视频里分散证据的召回率。这个目标把此前被割裂处理的相关性、多样性、时间覆盖放进了同一个约束优化问题。

QSRanker：问题改写与结构化语义打分

以往方法直接把原始问题当查询喂给 VLM 判“是/否”，对多选题的干扰选项很敏感、且单一二元分数无法表达语义关系。QSRanker 先用一个 LLM（Qwen3-4B）充当问题分析器 $\operatorname{W}$，把原始问题 $\hat q$ 改写成检索友好的查询 $q$，同时给出物体、动作、位置三个维度的重要性权重：

$$(q, w_o, w_a, w_l) = \operatorname{W}(\hat{q})$$

权重取离散值 $\{1,2,3,4,5\}$，只由查询本身决定，反映回答这个问题时每类证据有多关键。随后，一个可训练的 VLM 打分器 $\operatorname{R}_\theta$（Qwen3-VL-4B-Instruct）对每个查询-帧对预测结构化相关性：

$$(o, a, l) = \operatorname{R}_\theta(q, v)$$

最终把权重（经 Softmax 归一化为 $\tilde w_o,\tilde w_a,\tilde w_l$）与三维分数线性组合，得到每帧的统一排序分：

$$\operatorname{Score}(q, v) = \tilde w_o \cdot o + \tilde w_a \cdot a + \tilde w_l \cdot l$$

这种“LLM 负责理解查询重要性、VLM 负责视觉细粒度打分”的解耦设计，是 QSRanker 区别于以往单一二元打分或多模型拼接（如 SEAL）的关键之处：问题分析和视觉定位被拆成两个各自擅长的子任务。

训练 QSRanker：自动标注+监督微调

人工标注细粒度语义分数代价极高，QSVideo 转而用强大的现成 VLM（Qwen-VL-30B）自动生成监督信号。具体做法是从 LLaVA-Video-178K 中采样 35K 个视频-问题对构成 \ourdata{}，对每个样本均匀采 8 帧，提示 Qwen-VL-30B 为每个查询-帧对生成离散的 $(o,a,l)\in\{1,\dots,5\}$ 标签，构成三元组监督集 $\mathcal{D}_{\text{SFT}}$。然后对打分器做交叉熵监督微调：

$$\mathcal{L}_{\text{SFT}}(\theta) = \mathbb{E}_{(q,v,y)\sim\mathcal{D}_{\text{SFT}}}\left[\ell_{\text{CE}}(\hat o, o)+\ell_{\text{CE}}(\hat a, a)+\ell_{\text{CE}}(\hat l, l)\right]$$

用大模型蒸馏标签而非人工标注，使得训练数据构造可以低成本规模化，但也意味着打分器的能力上限被教师模型（Qwen-VL-30B）本身的偏差所约束。

QSRetrieval：相关性-多样性的贪心选择

为了衡量帧之间的视觉冗余，QSVideo 复用打分器的视觉编码器 $f$，对所有视觉 token 做均值池化得到全局嵌入 $g=f(v)$，并取欧氏距离 $d_{ij}=\|g_i-g_j\|_2$ 作为视觉距离（作者发现 L2 距离比只看角度的余弦相似度更能捕捉细微的外观与布局变化）。在此基础上，QSRetrieval 每一步从未选集合 $A^c=\mathcal{V}\setminus A$ 里贪心挑一帧，兼顾相关性与多样性：

$$v^\ast = \arg\max_{v \in A^c} \Big\{ \lambda \cdot \operatorname{Score}(q, v) + (1 - \lambda) \min_{v^\prime \in A} \| f(v) - f(v^\prime) \|_2 \Big\}$$

$\lambda$ 是相关性与多样性之间的权衡系数：取最近邻距离（而非平均距离）意味着新选的帧只要与“最像”的已选帧也足够不同就会被接受，这是一种保守但有效的去冗余准则。

时间窗口划分与长视频/流视频的差异化遍历

仅做相关性-多样性贪心选择仍可能让所有证据扎堆在局部时间段。为此 QSVideo 先把视频按时间戳划分成 $K$ 个不相交的窗口 $\mathcal{V}=\bigcup_{i=1}^K \mathcal{V}_i$，每个窗口至多选一帧，从结构上强制时间覆盖。更进一步，窗口的遍历顺序按场景做了区分，模仿人类的两种搜证行为：长视频里人会先跳到记忆中最相关的时刻、再就近展开搜索；流视频里则优先看最近内容、再逐步向前回溯。长视频采用“锚点+局部扩展”：先在剩余窗口中找全局最相关的锚点 $a^{(t)}=\arg\max_{v\in\bigcup_{i\in\mathcal{U}}\mathcal{V}_i}\operatorname{Score}(q,v)$，再在其时间半径 $r$ 内的邻域窗口里以该锚点为多样性参照继续选帧，选完后从可用窗口集合 $\mathcal{U}$ 中剔除已访问窗口，循环直到选满 $K$ 帧。流视频则采用“由近及远回溯”：先在最新窗口 $\mathcal{V}_K$ 选出 $v_K^\ast=\arg\max_{v\in\mathcal{V}_K}\operatorname{Score}(q,v)$，再依次向更早的窗口 $i=K-1,\dots,1$ 推进，以上一步选中的帧作为多样性参照：

$$v_i^{\ast}=\arg\max_{v\in \mathcal{V}_i}\Big\{\lambda\,\operatorname{Score}(q,v) + (1-\lambda)\,\|f(v)-f(v_{i+1}^{\ast})\|_2\Big\}$$

两种遍历共享同一套相关性-多样性打分公式，区别只在窗口顺序与参照帧的选取——这正体现了作者的设计直觉：时间覆盖策略要适配任务本身的因果结构（长视频可全局回看、流视频只能单向前进），而不是用一套固定规则硬套所有场景。

小结

QSVideo 的关键不在于单独哪个模块更精巧，而在于把“问题改写→结构化相关性打分→多样性去冗余→时间窗口覆盖”串成一条贪心可解的流水线，让严格帧预算下的视频证据检索第一次同时兼顾了相关性、多样性与时间覆盖三个此前被割裂处理的目标。

在长视频基准LVBench（103个视频，均时长67分钟）与流式视频基准StreamingBench（499个视频，上下文固定前60秒）上评测；对Qwen3-VL-4B-Instruct做LoRA微调。结论：严格帧预算下8B骨干的QSVideo大幅超过同骨干均匀采样基线，且能即插即用接入多种视频VLM取得一致增益。

关键数据

此前的问题到帧检索方法（SeViLA、FRAG等）多用VLM对查询-帧对做二元“是/否”打分，不区分语义维度、不考虑多样性与时间覆盖；SEAL引入多个专用模型检测场景/物体/动作，却没用上VLM本身的语义理解力。QSVideo首次把相关性、多样性、时间覆盖整合进统一检索目标，为后续帧选择研究提供了即插即用的基础组件。

局限与不足

QSVideo 的问题分析器与语义打分器虽经过批处理和数据并行加速，仍需额外跑一次 LLM 与一次 VLM 推理，相比纯均匀采样终归引入了检索阶段的计算与部署开销；其监督信号完全来自 Qwen-VL-30B 自动标注而非人工标签，打分器学到的相关性判断质量会受限于教师模型自身的偏差与噪声，论文也未给出标注一致性或人工校验的量化分析；时间窗口数 $K$、长视频搜索半径 $r$ 以及相关性-多样性权衡系数 $\lambda$ 都是人工设定的超参数，论文的消融显示 $\lambda$ 的影响相对温和，但窗口数与半径在证据分布极不均匀（例如证据集中在视频首尾）的视频上是否依然鲁棒缺乏专门分析；长视频的锚点+局部扩展策略本质上仍需要先拿到完整视频再做全局锚定，无法直接套用到真正只能单向访问未来帧的在线流式约束上，流视频分支的“由近及远回溯”只是一种启发式近似。