ReQuest：面向长视频问答的基于重思考的问题感知选帧框架 · ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA

原文摘要 · English Abstract

Recent multimodal large language models (MLLMs) have substantially advanced video understanding, yet long-form video QA remains challenging under fixed input token budgets, where uniform sampling can be inefficient for evidence localization. We propose ReQuest, an uncertainty-driven, question-adaptive keyframe selection pipeline that aligns question intent with relevant video content through selective computation. ReQuest integrates (i) a lightweight question-aware selector distilled from MLLM-generated supervision, (ii) Re-thinking Routing that triggers additional inference only when the model is uncertain with a length-adaptive criterion, and (iii) uncertainty-guided adaptive non-maximum suppression that selects temporally diverse frames while adjusting spacing based on question difficulty. As a plug-and-play method, ReQuest improves long-video QA without modifying or fine-tuning the underlying MLLM. Experiments on Video-MME, MLVU, and LongVideoBench demonstrate consistent accuracy gains with competitive computational cost, with particularly strong improvements in medium and long video regimes. The code is available at https://geppa.github.io/ReQuest.

概要

长视频问答在固定的视觉 token 预算下只能看有限帧，均匀采样常错过决定性证据。已有的问题条件选帧分两派：靠 CLIP/SigLIP 算帧-问题相似度的方法便宜，但答案相关物体没出现在问题文字里时就失灵；靠 MLLM 选帧的方法理解更强，却必须先稀疏采样，起点就已丢信息。ReQuest 改用 MLLM 自己的回答当监督信号：先在均匀帧上估出选项概率熵，熵高才触发重思考，再由轻量问题感知选择器对整个视频逐帧打分，用不确定性调制的自适应 NMS 挑出分散的 K 帧送回 MLLM 重答。全程不微调基座模型。

长视频受输入 token 上限约束，必须在帧数与单帧分辨率之间取舍，均匀采样简单却容易漏掉决定性证据。已有的问题条件选帧多用预训练视觉-语言编码器算帧-问题相似度再取 Top-k，但当答案相关的关键物体没有明确出现在问题里时，这类方法缺乏语境理解，检索会失效。改用 MLLM 选帧的方法语义理解更强，却因算力昂贵而依赖多阶段流水线（如 3600→128→32），起始的稀疏采样本身就丢信息。

关键贡献

提出一个轻量的「问题感知」帧选择器，用 BLIP 融合的问题-帧表示加一个可学习 score token 回归每帧对答案的贡献，模仿 MLLM 的问题理解能力，从而在问题文字里不含关键物体时也能定位证据。
设计用 MLLM 自身回答构造伪标签的流程：对每个时间聚类片段问 MLLM 取正确选项概率，再减去「视觉输入置零」时的基线概率作为该片段的视觉贡献，抵消文本先验带来的偏差。
提出 Re-thinking Routing 路由：用选项概率熵衡量不确定性，并按视频长度做阈值修正，只把真正不确定（多发生在长视频）的问题送进重思考分支，另一半问题直接走均匀采样的低成本路径。
提出不确定性引导的自适应 NMS 采样：高熵时收缩抑制窗口，允许选中时间上紧密相邻的证据帧；低熵时退化成近似均匀的全局覆盖，从而在同一 K 帧预算下兼顾全局探索与局部精度。
在 Video-MME、MLVU、LongVideoBench 上验证插件式增益，并把选择器从 LLaVA-Video 迁移到 LLaVA-OneVision、Qwen3-VL 8B/32B，说明该选择器捕捉的是与基座无关、由问题条件决定的重要性。

方法详解（完整做法）

总体思路

ReQuest 是一条不改动、也不微调基座 MLLM 的插件式流程，分三块：先让 MLLM 在均匀采样的帧上答题并给出各选项概率，用这个概率分布的熵衡量它对当前视频-问题对有多没把握；路由再据此决定「直接输出答案」还是进入重思考。进入重思考后，一个轻量的 BLIP 融合选择器对整个视频逐帧打出问题条件的重要性分数，这些分数与初始熵一起送进自适应 NMS，挑出时间上不冗余的 K 帧，再交回同一个 MLLM 重新推理。整条链路的取舍是：算力只花在真正不确定的问题上，而一旦要花，就做全局逐帧搜索，而不是从一次稀疏采样里再筛。

用伪标签把 MLLM 的回答变成监督信号

选择器要学的是「这一帧对答对这道题贡献多少」，这个量没有人工标注，论文的做法是向 MLLM 本身索取。把视频按时间聚类成片段 $s_i$ ，用该片段作为视觉输入问 MLLM，得到 $M$ 个选项上的 logits $z_i$ ，softmax 后记为 $p_i$ ；再用一个全零张量当作视觉输入问同一个问题，得到基线分布 $p^{\text{base}}$ 。片段 $s_i$ 的贡献分定义为：

$\Delta c_i = p_{i,g} - p^{\text{base}}_{g}$

其中 $g\in\{1,\dots,M\}$ 是正确答案的索引。减去基线这一步是整条流水线的关键：全零视觉输入下模型仍可能因为语言先验（题目措辞、常识）而偏向某个选项， $p^{\text{base}}_g$ 已经把这份先验量化出来，差值剩下的才是真正由画面带来的净影响。否则选择器学到的会是「哪些问题本身容易被猜对」，而不是「哪些画面有用」。

选择器架构与训练时的粒度错配

每个片段先由 BLIP 视觉编码器编码，问题经 BLIP 文本流并与视觉 token 做交叉注意力；与双塔式设计不同，BLIP 的图文交互发生在文本侧融合层里，论文正是取这一层的融合 token 作为片段-问题表示。帧级融合 token 按时间池化成片段级序列 $f_i\in\mathbb{R}^{T\times D}$ ，前面拼接一个可学习的 score token 得到 $\tilde f_i\in\mathbb{R}^{(T+1)\times D}$ ，送入四层轻量 Transformer，取该 token 的末层隐状态 $h^{\text{cls}}_i\in\mathbb{R}^{D}$ 作为聚合表示，再由评分头输出标量：

$\hat c_i = \operatorname{ScoreHead}\left(h^{\text{cls}}_i\right)$

训练时为省成本，监督信号取在整个片段上算出的 $\Delta c_i$ ，损失是 Smooth- $\ell_1$ 加一个成对排序损失；推理时却把选择器施加到单帧上。这种「片段级训练、帧级推理」的错配是有意为之：

$\mathcal{L}=\operatorname{Smooth}_{\ell_1}\!\left(\hat c_i,\ \Delta c_i\right)+\alpha\,\mathcal{L}_{\text{rank}}$

其直觉是评分头作用在「帧-问题融合表示」这一空间里，片段表示只是同空间内的池化结果，因此函数能自然泛化到更细的粒度；而实验结果也确实表明帧级推理更准（65.6 对 62.9），原因是同一片段内真正决定答案的细节会被池化平均掉。

Re-thinking Routing：熵、长度与阈值

路由要回答的是「这道题值不值得多花一次算力」。给定均匀帧下 MLLM 的选项概率向量 $p=[p_1,\dots,p_M]$ ，不确定性取其熵：

$u = -\sum_{k=1}^{M} p_k \log p_k$

单看熵还不够：视频越长，均匀采样天然越不可靠、熵普遍越高，若用固定阈值，长视频会被整片送进重思考。于是引入按长度收缩的阈值，令 $N$ 为 1 fps 采样后的总帧数（上限 $N_{\max}$ ）：

$r_{\text{len}}(N)=\min\!\left(1,\ \frac{N}{N_{\max}}\right),\qquad \tau_{\text{eff}} = \tau_0 - \gamma_{\text{len}}\, r_{\text{len}}(N)$

$r_{\text{len}}$ 把长度缩放到 $[0,1]$ ，再线性压低阈值，于是短视频阈值更严、长视频更宽松，方向正是论文想要的。判决本身完全不学习，是纯规则的：

$\text{Decision}=\begin{cases}\text{Selection Required}, & u > \tau_{\text{eff}}\\[2pt] \text{Uniform Path}, & u \le \tau_{\text{eff}}\end{cases}$

规则化带来的好处是成本可控且行为可解释：调一个 $\tau_0$ 就能在准确率与延迟之间滑动，无需重新训练任何模块；论文实测最优点出现在约对半分流处，全部走重思考或全部走均匀都会掉点。

自适应 NMS：让不确定性决定时间间隔

只有分数还不足以选中 K 帧，还要避免把整段预算堆在同一时刻的相邻帧上。论文在贪心 NMS 上做文章：以基线间隔 $b_s=N/K$ 为参照，把熵裁剪归一化后映射成一个缩放系数。

$u'=\operatorname{clip}(u;\,u_{\min},u_{\max}),\qquad w=\left(\frac{u'-u_{\min}}{u_{\max}-u_{\min}}\right)^{\rho},\qquad s(u)=s_{\min}+(1-w)(1-s_{\min})$

$\delta = \operatorname{round}\big(s(u)\cdot b_s\big)$

有效抑制半径 $\delta$ 在熵高时变小——模型不确定，说明决定性证据可能挤在一小段时间里，值得集中火力做局部细看；熵低时 $s(u)$ 趋近 1、 $\delta$ 回到基线间隔，退化成近似全局均匀的覆盖。当 $u<u_{\min}$ 时直接取 $s(u)=1$ 。采样循环很简单：每步选中当前分数最高的帧，再抑制其 $[i-\delta,\ i+\delta]$ 窗口内的所有候选，重复到凑满 K 帧。它同样不需要任何额外训练，却把「问题有多难」这一信号翻译成了「看多细」这一采样参数。

小结

真正关键的不是选择器有多深，而是让 MLLM 的回答一物两用：既提供伪标签教选择器「哪一帧有用」，又提供熵来决定「这道题需不需要重选、以及按多细的粒度重选」。

实验与关键数据

在 MLVU、LongVideoBench 验证集、Video-MME（无字幕）三个长视频基准上评测，基座为 LLaVA-Video、LLaVA-OneVision 与 Qwen3-VL 8B/32B，最终只向 MLLM 喂 K=32 帧。结论是插件式提升一致、中等与长视频子集收益最大，且额外延迟比纯相似度选帧更低。

关键数据

Video-MME 无字幕整体准确率（LLaVA-Video 7B）

65.6%

vs LLaVA-Video 62.6%（+3.0）

Video-MME 无字幕长视频子集（LLaVA-Video 7B）

55.8%

vs LLaVA-Video 52.2%（+3.6）

MLVU 整体准确率（LLaVA-Video 7B）

71.7%

vs LLaVA-Video 64.7%（+7.0）

LongVideoBench 验证集（LLaVA-Video 7B）

60.1%

vs LLaVA-Video 58.0%（+2.1）

Video-MME 无字幕整体准确率（Qwen3-VL-8B，≤512 帧）

71.1%

vs Qwen3-VL 512 帧均匀采样 70.0%（+1.1）

Video-MME 长视频子集消融：Adaptive NMS

55.8%

vs Greedy NMS 53.3%（+2.5）

影响与局限

长视频选帧长期在两条路线间摆动：相似度检索便宜但问题理解浅，MLLM agent 理解深但代价高、且必须先稀疏采样。ReQuest 用「蒸馏 MLLM 回答得到轻量选择器」加「用预测不确定性决定何时值得多算一次」把两者缝合，等于给选帧引入了不确定性这一成本分配信号——不只是选哪些帧，还包括值不值得重选。它不改基座即可套到多种 MLLM 上。

局限与不足

论文没有独立的局限讨论章节，以下几处是读正文可以指出、但作者未展开的。第一，选择器的监督完全来自 LLaVA-Video 的回答， $\Delta c_i$ 只是「正确选项概率的提升」这一代理量，与真正的人类标注的证据帧并不等价：若 MLLM 靠语言先验或错误线索猜对，伪标签就会把噪声当成重要性学进去，而且这一步只在多选题设定下定义明确，开放式问答只能改用最大 token 熵这一更粗的替代。第二，路由阈值靠人工调参： $\tau_0$ 在三个基准上分别取 0.55、0.45、0.3， $u_{\min}$ 、 $u_{\max}$ 、 $s_{\min}$ 、 $\rho$ 也是给定量，论文虽展示了 $\tau_{\text{eff}}$ 的扫描曲线，但没有任何自适应标定机制，换数据集需要重新调。第三，代价评估只覆盖 Video-MME 长视频上的 900 道题，且关键帧选择本身需要先把 1 fps 的全视频过一遍 BLIP（100 秒量级，明显高于纯相似度路线），长视频持续增长的场景下这一开销未必可接受。第四，训练数据经「 $\Delta c_i$ 分布有明显峰值」筛选后只剩 808K 中的 169K，这条筛选线可能系统性地排除了那些答案依赖分散证据、贡献分天然平坦的难题，而这类题目恰恰是长视频最难的。第五，实验只覆盖选择题与三个基准，缺少对时刻定位、多事件计数等更细粒度任务的验证，也没有报告多次运行的方差。