Commonsense Video Question Answering through Video-Grounded Entailment Tree Reasoning基于视频蕴含树推理的常识视频问答

这篇论文针对常识视频问答（VQA）中大模型可能依赖文本捷径而非真正看视频做推理的问题，提出首个「视频接地的蕴含树推理」框架：把每个候选答案改写成陈述句，递归拆解为更简单的子陈述，再把每条陈述对齐到视频中的具体片段用视觉-语言模型验证真假，最后沿树回溯得到最可信的答案。该方法无需训练、可直接套在现成的图像/视频VLM上，并配套一套基于LLM的答案集去偏流程，用来检验模型是否真的依赖视频内容而非选项间的语言关联作答。

视频VQA近年来依靠视频/图像类VLM取得了显著进展，但越来越多研究发现这些模型的高分可能来自「视频-答案」之间的捷径关联而非真正的视觉推理，其黑箱特性又让这种捷径难以被发现。NLP领域已经用蕴含树（将候选答案递归分解为子陈述并逐层验证）来获得显式、可核查的推理链，但已有把蕴含树搬到视频上的尝试（如TV-Trees）依赖人工提供的视频转写文本，绕开了把陈述接地到真实视觉内容这一核心难题，也就没有真正验证模型是否「看懂」了视频。

关键贡献

• 提出首个将蕴含树推理显式接地到视频片段的常识VQA框架，无需训练或人工标注
• 设计问题感知的逐帧字幕生成与两步证据定位（锚点帧检索+前看/后看/环视扩展区间）机制
• 提出直接分数与证明分数相结合、动态剪枝冗余分解的树扩展策略，兼顾推理深度与效率
• 设计基于LLM改写干扰项的答案集去偏流程，用于检验VQA基准是否存在可被捷径利用的文本偏置
• 在NExT-QA、IntentQA、Video-MME三个基准上验证框架对五种图像/视频VLM均有持续增益，且以257倍更少参数达到与SOTA相当的效果

总体思路

整个框架把「选哪个答案」转化为「哪条陈述能被视频证明为真」。先把每个候选答案连同问题改写成一句陈述，再递归地把陈述拆成两条更简单的子陈述，形成一棵蕴含树；随后对树上每条陈述，先从视频中定位出与其对应事实最相关的片段，再用视觉-语言模型在该片段上判断陈述真假，得到直接分数与由子陈述乘积而来的证明分数；通过动态扩展策略决定是否保留某条陈述的分解，最后沿树回溯取每层分数的最大值，选出顶层得分最高的陈述所对应的答案。配套地，论文还设计了一套基于LLM改写干扰项的答案集去偏流程，用于检验上述推理框架是否真的依赖视频证据而非语言关联。

陈述分解与蕴含树构造

给定一个 $N$ 选问答对，先把每个问题-答案组合转写成保持语义的陈述句，得到陈述集合 $\mathcal{D}=\{d_1,\dots,d_N\}$；判断最佳答案等价于判断哪个 $d_i$ 为真。接着对每条陈述递归生成两条子陈述作为其证明依据，当且仅当两条子陈述都为真时，原陈述才为真：

$$\texttt{Statement} \Leftarrow \texttt{Sub-statement}_1, \texttt{Sub-statement}_2$$

该分解过程由LLM提示完成，一直递归到预设的最大深度或满足停止条件，由此把「证明一句复杂陈述」转化为「证明两句更简单的陈述」。

问题感知的视频字幕生成

直接给VLM整段视频让其生成字幕容易遗漏关键细节或引入无关信息。论文先从问题中抽取陈述所指向的「锚点事实」$F$，作为先验提示提供给字幕模型 $\texttt{Cap}(\cdot)$；同时把此前所有帧已生成的字幕也一并输入，以保留时间上下文，逐帧生成字幕：

$$c_i = \texttt{Cap}(f_i \mid F, (c_1,\cdots,c_{i-1}))$$

这样生成的字幕更贴合问题关注的事实，而不是对画面不加筛选的通用描述。

证据定位：锚点帧检索与区间扩展

定位证据分两步。第一步，把每帧字幕和锚点事实都转成结构化三元组（刻画物体的属性与关系），再用LLM以事实三元组为查询在帧字幕三元组中检索最相关的时间戳，得到锚点帧：

$$t_{\text{anchor}} = \texttt{Rtv}(c_i, F)$$

第二步，再结合问题中的时序关系（之前/之后/当时），从「向前看、向后看、环视」三种导航方式里选择以锚点帧为中心的最终取证区间：

$$\mathcal{M} = \texttt{Gnd}(t_{\text{anchor}} \mid \mathcal{Q})$$

用结构化三元组而非原始字幕文本做检索，是为了减少字幕中无关语义对相关性判断的干扰，提升锚点帧定位的准确性。

视觉-文本陈述验证器

在定位出的区间 $\mathcal{M}$ 内重新采样帧作为视觉证据，把每条陈述转成一个「True/False」二选一的问答提示，直接探测VLM对两个选项的下一词预测概率并归一化，得到该陈述的置信度：

$$s_d = \texttt{Prv}(\mathcal{M}, h),\quad s_d \in [0,1]$$

其中 $h$ 是待验证的陈述。这一步把「判断一句话真假」转化为可直接利用VLM自身置信度的二分类探测，无需额外训练分类头。

动态树扩展与置信度回溯

不是所有陈述都值得继续分解：有些陈述本身已经足够简单、VLM可以直接可靠判断。为此每条陈述 $d$ 维护两个分数——直接分数 $s_d$，以及由其两条子陈述分数相乘得到的证明分数 $s_p$（子陈述需同时为真才能证明父陈述，故取乘积）；若继续分解得到的证明分数没有超过直接分数，说明分解没有带来更可靠的证明路径，该节点就被剪枝为叶子，不再展开。回溯时每个节点取两个分数中的较大值作为最终置信度：

$$s = \max(s_d, s_p)$$

这样设计的直觉是：分解本身不是目的，只有当拆分后的子陈述能给出比直接判断更高置信度的证据链时，才值得保留这条分解路径，否则直接相信VLM对整句话的判断反而更高效、更不容易在过度拆分中引入噪声。

去偏答案集构造

已有工作发现VQA基准的干扰项设计使模型可以单靠「哪个选项更符合常识」猜中答案而无需看视频。论文据此设计去偏流程：保持问题和正确答案不变，提示LLaMA-3把原干扰项改写为同样符合常识、但不再能靠语言关联轻易排除的新选项，使模型必须依赖视频证据才能区分对错选项。该流程不依赖人工标注，可批量应用到NExT-QA等现有基准上，生成的去偏测试集被用来检验视频蕴含树推理框架是否真正利用了视频内容而非语言捷径。

小结

这篇论文的关键不是某个新模型，而是一套把「蕴含树推理」第一次真正接地到视频片段、且用置信度比较决定分解是否值得保留的通用框架——它与具体VLM解耦，可直接插在任意现成视觉-语言模型上获得推理能力的提升。

实验在NExT-QA、IntentQA、Video-MME（短视频子集）展开，基线涵盖Video-LLaVA、VideoChat2、VideoLLaMA、BLIP-2、LLaVA-1.5及VideoTree、VideoAgent、LLoVi。框架接入各VLM均稳定增益，时序推理提升最明显，参数量远小于SOTA仍相当。

关键数据

该工作把NLP中蕴含树（EntailmentBank、Entailer等）这一可解释推理范式第一次真正接地到视频内容上，弥补了TV-Trees等方法依赖人工视频转写、回避视觉接地难题的缺口。它同时量化了常识VQA基准中的答案集文本偏置，去偏流程为后续评测视频模型真实推理能力提供了可复用的诊断工具。

局限与不足

框架的每个环节（陈述生成、分解、锚点检索、证据定位）都依赖LLM和字幕模型的中间输出质量，一旦字幕引入幻觉或锚点帧检索错误，错误会沿蕴含树向上传播，而论文的消融也显示仅用结构化检索而不配合事实条件字幕时性能反而下降，说明该流程对各组件的协同设计较为敏感，鲁棒性有待进一步验证。其次，最大树深度固定为5，论文承认超过4层后增益递减甚至子陈述过于简单失去判别力，表明该方法对复杂程度差异很大的问题缺乏自适应的分解粒度。此外，去偏流程依赖LLaMA-3生成新干扰项，去偏质量和多样性受限于该LLM自身的常识水平与提示设计，论文未对去偏后选项的可读性或自然度做系统评估。最后，框架在推理阶段需要多次调用LLM和VLM（逐帧字幕、三元组抽取、检索、逐节点验证），尽管参数量远小于SOTA视频模型，但实际推理延迟与调用次数未给出量化对比，效率优势主要体现在动态树扩展相对固定深度分解的相对改进上。