MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMsMVU-Eval：面向多视频理解的评测

现有视频理解基准几乎都只把单个视频作为输入,忽略了体育多机位分析、自动驾驶多摄像头融合、多视频检索归纳等现实场景对跨视频理解的迫切需求。MVU-Eval 提出首个面向多视频理解的综合评测基准,通过采样、生成、两轮质量控制的流程构建出 1,824 道问答题,覆盖 4,959 段视频,划分为感知与推理两大协议共八项核心能力。对二十余个开源与闭源多模态大模型的系统评测显示,最强的闭源模型也远逊于人类水平,不同子任务上模型排名差异很大,揭示了当前 MLLM 在跨视频整合与推理上的明显短板。

多模态大模型在视频理解上快速进展,MVBench、Video-MME、MLVU、LongVideoBench 等基准相继涌现,但它们无一例外只把单个视频作为输入,无法评估模型综合多段视频进行物体追踪、空间推理、时序对齐等真实任务的能力,而体育多机位分析、自动驾驶多摄像头融合、多视频检索归纳等场景恰恰天然需要跨视频整合,这一评测空白正是 MVU-Eval 试图填补的。

关键贡献

• 首次提出面向多视频理解的综合评测基准 MVU-Eval,填补了现有视频基准只能处理单段视频输入的空白。
• 构建覆盖感知与推理两大协议、八项核心能力的任务体系,系统覆盖从物体识别到检索增强推理等真实应用场景。
• 设计采样加生成再加两轮质量控制的数据构建流程,有效去除选项中的内容泄漏与格式泄漏问题。
• 对三款闭源模型与二十余款开源多模态大模型进行系统评测,揭示模型间的显著性能差距与能力失衡。
• 通过帧数、分辨率、视频数量与输入格式等多组消融实验,定位当前模型在长上下文处理上的瓶颈。
• 分析典型失败案例,指出模型在物体状态判断、跨视角空间理解与领域知识推理上的共性缺陷。

总体思路

现有视频理解基准几乎都以单段视频为输入,忽略了体育多机位分析、自动驾驶多摄像头融合、多视频检索归纳等现实场景对跨视频理解的迫切需求。MVU-Eval 针对这一空白设计了一套完整的基准构建方法:先按任务规则从公开数据集中采样“视频组”,再用自动生成或模板生成问答对,经过两轮质量控制(去信息泄漏、人工复核)后得到最终题库,划分为感知与推理两大协议、共八项核心能力,最后用统一的零样本准确率协议评测二十余个开源与闭源多模态大模型。

任务体系:感知与推理两大协议

MVU-Eval 把多视频理解能力拆成“感知”与“推理”两层递进的协议。感知协议考察模型能否准确“看清”并“识别”多段视频里的具体内容,是跨视频理解的基础;推理协议则要求模型在准确感知的基础上做更高阶的分析与推断,两层协议共同构成八项核心能力,分别对应不同的真实应用场景,例如自动驾驶的多摄像头融合更偏重感知,体育解说的动作难度判断更偏重推理。

感知任务:识别、空间、计数与比较

感知协议包含四项任务:物体识别(OR)要求跨互不重叠的视频序列追踪同一物体;空间理解(SU)要求综合多个互补机位建立超越单一视角的空间布局;计数(Counting)要求在异步视频间聚合瞬时出现的物体,应对遮挡和局部可见等真实困难;比较(Comparison)进一步拆成替换、删除、增加三个子任务,考察模型对跨视频细粒度属性差异的分辨能力,其中比较任务的 130 条样本直接来自 Kling.AI 多模态视频编辑功能的真实用例。

推理任务:知识、情境、检索与时序

推理协议包含四项任务:知识密集型推理(KIR)要求结合体育规则等领域知识消解单段视频里看不出的歧义,细分为动作分类、难度评估与得分判断三个层级;情境学习(ICL)要求模型把从少量示例里学到的推理策略迁移到新的跨视频场景;检索增强生成(RAG)考察模型能否在冗余的多视频输入里选择性关注并综合真正相关的证据;时序推理(TR)则要求对齐采集时间线各不相同、彼此离散的事件,进一步拆成时序排序、时序定位与时序描述补全三个子任务。

数据构建:采样、生成与相似度筛选

数据构建分三步:先按每个任务的专属规则从多种开源数据集里采样“视频组”,保证组内视频存在真实关联;再自动或按模板生成问答对。以 RAG 任务为例,先从带详细字幕的大规模视频库里采一个锚点视频,再用文本字幕间的 Jaccard 相似度采出 3~5 段与锚点相似的视频:

$$J(A,B)=\frac{|A\cap B|}{|A\cup B|}$$

计数任务则改为从视频检测数据集里挑选包含相同物体类别的视频组;知识密集型推理任务直接利用比赛元数据(动作类型、难度等级)按模板生成问题,并通过互换相似动作的难度等级来构造更具迷惑性的干扰项。

双轮质量控制:去泄漏与人工复核

第一轮聚焦“信息泄漏”:一是内容泄漏,例如正确选项写成“1号视频里的教室”而不是“1号视频”,多余的文字描述会让模型不看视频也能蒙对,因此要把描述性文字从选项里剥离;二是格式泄漏,即错误选项普遍偏短、正确选项偏长这类格式先验,做法是先用多个大模型过滤掉不看视频也能答对的题目,再反复重写选项直到不看视频的准确率逼近随机猜测的水平。第二轮是人工复核:先剔除 Gemini 2.5 Pro、Gemini 2.0 Flash、Qwen2.5-VL-72B 三个模型都能不看视频答对的简单题,再由标注员逐条检查问题是否必须看完全部视频才能回答、答案是否正确,并手工平衡各选项作为正确答案的比例。全流程从最初采样的 4,187 组视频对开始,经难度筛选、规则校验、人工复核层层收紧,最终只保留 1,824 条高质量样本。

评测协议:统一准确率与规模

评测统一采用零样本设置下的准确率:

$$\mathrm{Accuracy}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{1}[\hat{y}_i=y_i]$$

每个视频统一均匀采样 32 帧,长边缩放到 720 像素、短边等比例缩放,再交给待测模型作答,不额外做任何针对特定模型的提示词调优。最终题库平均每题涉及 4.7 段视频,多数题目对应 4~6 段视频,少数题目多达 13 段,视频 token 长度平均 51,013,问题文本平均 111 字,是一个在跨视频数量和上下文长度上都有真实压力的评测环境。

小结

MVU-Eval 的关键不在某个新模型或新公式,而在于用“采样-生成-双轮过滤”的工程流程,第一次把体育多机位、自动驾驶多摄像头这类天然需要多视频协同的任务,系统性地变成了可复现、可量化的评测基准。

作者以零样本准确率为指标,统一采样 32 帧、长边缩放至 720 像素,评测 3 款闭源模型与 22 款开源模型。表现最好的 Gemini 2.5 Pro 仅 58.4% 准确率,远低于人类的 93.6%,子任务间模型排名并不一致,验证了基准的难度与区分度。

关键数据

MVU-Eval 把视频理解评测从单视频输入扩展到多视频跨源整合,填补了体育多机位、自动驾驶多摄像头等真实场景在评测体系上的空白,为后续设计支持多视频输入的架构与训练策略提供了诊断依据和改进方向。

局限与不足

MVU-Eval 的问答对相当一部分由 MLLM 自动生成再经规则与人工筛选得到,生成过程可能残留标注体系本身的偏好模式,不能完全等同于自然产生的真实问题;比较任务的 130 条真实用例样本量偏小,难以覆盖视频编辑场景的全部变化类型;此外论文自身也指出,题库里绝大多数视频彼此异步、时间线未对齐,对同步多机位场景(仅小部分空间理解任务涉及)覆盖有限,跨视频高基数融合与领域知识推理仍是未解决的方向。