MovieCORE: COgnitive REasoning in MoviesMovieCORE：面向电影的认知推理评测基准

现有电影类VQA数据集大多停留在“是什么”的表层问询，缺乏对“为什么”“如何”这类需要System-2式深思的问题。MovieCORE基于MovieChat-1k的986段电影片段，用多个LLM扮演不同角色的思考代理相互质询、补充证据、综合修订，生成4930条强调因果、动机与心理复杂性的问答对，并配套语言学复杂度指标与多维评测方案。为改善VLM在深层推理上的短板，作者还提出轻量推理时插件ACE，通过束搜索加候选重排，带来最高25%的相对提升。

早期电影VQA数据集如MovieQA、TVQA主要依赖对白与事件片段，MAD等聚焦场景级描述，MoVQA、CinePile扩大了问题类型和规模，但整体仍以“时间、地点、人物关系”等表层事实性问题为主。EgoSchema尝试问得更深，但问题往往流于泛化、缺乏对具体视频内容的绑定。同时现有VQA评测多用需要完全匹配的top-1准确率，难以衡量System-2式答案在“深度、证据、连贯性”上的差异，这促使作者重新设计数据构造与评测协议。

关键贡献

• 提出MovieCORE，首个针对电影深层System-2认知推理设计的VQA数据集，含4930条问答对
• 设计多LLM协作的智能体头脑风暴标注流程，让专家、质疑者、侦探、元评审等角色轮流打磨问答质量
• 构建解析树深度、Flesch-Kincaid可读性、布鲁姆认知分类等一套定量指标来衡量数据集的认知深度
• 设计涵盖准确性、全面性、深度、证据与连贯性五维度的LLM辅助评测方案
• 在零样本与全监督两种设定下系统评测多种VLM，揭示其在深层推理任务上的短板
• 提出推理时后处理插件ACE（Agentic Choice Enhancement），无需重训即可让VLM回答质量提升最高25%

总体思路

MovieCORE 的构建分两条主线：一是数据标注，用多个大语言模型分别扮演出题专家、质疑者、侦探、综合评审等角色，围绕同一段电影片段的先验信息反复讨论、修订，产出既具体又有深度的问答对；二是模型增强，提出 ACE（Agentic Choice Enhancement）插件，让已训练好的视频语言模型先用束搜索生成多个候选答案，再用一个轻量语言模型对候选重新打分排序，选出最优回答，从而在推理阶段就能提升深层推理任务上的表现。

视频先验信息提取

标注前先用具备视觉能力的 MiniCPM-v2.6 对每段视频提问 8 个精心设计的问题，覆盖叙事结构、主题、情感基调、关键事件、人物关系、类型与目标受众，把回答汇总为 Data Info 先验，供后续纯文本的标注代理使用，保证它们即使看不到画面也有足够的语境依据。

多智能体头脑风暴标注流程

标注流程由 Critic Agent 担任主持人：先把任务说明与 Data Info 交给 System II VQA Expert（GPT-4o）生成初版问答，再由 Skeptical Researcher 质疑其依据是否充分，Detective 提出挖掘动机与偏见的补充问题，Meta Reviewer 汇总改进意见，最后 Critic Agent 把反馈交回 VQA Expert 修订问答。整个链路模拟人类专家的协作讨论，用多视角互相制衡来抑制单一模型的偏差，最终再由研究生进行小规模人工复核。

解析树深度：衡量句法复杂度

对每条问题与答案用 spaCy 生成依存解析树，递归定义节点深度：叶子节点深度为 0，非叶子节点深度为其子节点深度最大值加一，句子整体深度取根节点深度：

$$d(t) = \begin{cases} 0 & \text{if } C(t) = \emptyset \\ 1 + \max_{c \in C(t)} d(c) & \text{if } C(t) \neq \emptyset \end{cases}$$

解析树越深，句子的层级嵌套越复杂，通常意味着理解它需要更多认知资源，作者据此论证 MovieCORE 的问答在句法层面就比其他数据集更“难”。

Flesch-Kincaid 可读性：衡量理解门槛

作者进一步用标准 Flesch-Kincaid 公式计算问答文本所需的美国年级阅读水平，其中 $W$ 为总词数、$S$ 为句子数、$Y$ 为音节数：

$$\text{F-K Grade Score} = 0.39\left(\frac{W}{S}\right) + 11.8\left(\frac{Y}{W}\right) - 15.59$$

为什么要专门量化可读性：单靠“问题看起来抽象”并不能证明数据集真的更烧脑，用一个可复现、跨数据集可比的公式化指标，才能把“System-2 式深度”从主观判断变成可验证的定量证据。

布鲁姆分类与ACE的候选重排

作者用 GPT-4o-mini 把每条问答按布鲁姆分类法归入记忆、理解、应用、分析、评价、创造六个认知层级，层级越高越需要深层分析而非表层回忆。ACE 则在推理阶段先用 VLM 以束宽 $k=5$ 生成候选集合 $C$，再用参数量仅 1B 的 Llama-3.2 对候选打分并取最高分作为最终答案：

$$R^{*}=\arg\max_{c\in C} S(c),\qquad S=\text{Llama-3.2.score}(C)$$

用一个极轻量的语言模型做“旁观者重排”而不重训原模型，既保留了原模型的知识与能力，又能以极低算力代价过滤掉候选里质量较差的回答——这正是 ACE 相比全量微调更具性价比的关键设计。

小结

MovieCORE 的关键不是某个新模型结构，而是用多智能体协作把标注做深、用可复现的语言学指标把“深度”量化，再用一个几乎零成本的推理时重排插件证明现有 VLM 的深层推理能力还有很大的未开发空间。

基于MovieChat-1k的986段电影片段，按816/170段视频划分出4080条训练QA与850条测试QA。作者用语言学与认知指标对比多个既有数据集证明其难度最高，并在零样本与全监督下评测多种VLM，同时验证ACE插件在不同beam宽度下的稳定增益及System-2与System-1设定下的表现落差。

关键数据

MovieCORE把电影视频问答从“事实检索”推进到“System-2式深层推理”，填补了EgoSchema等数据集在具体性与深度上的空白，其多智能体标注流程与多维评测方案为后续构建高质量推理型VQA基准提供了可复用的范式；ACE则展示了无需重训、仅靠推理时重排就能挖掘现有VLM潜力的思路。

局限与不足

数据集的人工验证覆盖面很小，仅对30段视频、150条问答进行了研究生复核，绝大多数标注仍依赖自动化流程，可能残留LLM标注固有的偏差；数据来源全部继承自MovieChat-1k，题材与叙事风格覆盖有限，可能限制模型在其他类型电影上的泛化评估；此外，深度、证据、连贯性等核心评测指标均由GPT-4o-mini这一LLM裁判打分，评测本身会继承裁判模型的偏见与能力上限，且缺乏与人工评分的大规模一致性验证。