Apollo: An Exploration of Video Understanding in Large Multimodal ModelsApollo：探索大模型中的视频理解机制

视频大模型的很多设计决策——怎么采样视频、用哪种视觉编码器、如何压缩视觉 token、要不要多阶段训练——此前大多凭经验拍板，缺乏系统验证，原因是全量消融的算力成本太高。本文先证明小模型（约 2–4B）上做的设计决策能可靠迁移到大模型，把探索成本降到可承受范围；再用小模型对视频采样、编码器、token 重采样与整合逐一做受控实验；同时发现现有视频问答基准很大程度上不需要看视频也能答对，因此另建更具判别性的 ApolloBench。三者共同支撑起 Apollo 系列模型，在多个参数规模上取得同期最优的长视频理解效果。

视频大模型的发展明显滞后于图像大模型：视频引入的时序维度让设计空间比图像更复杂，而训练和评测的计算开销又远高于图像模型（单个 3B 模型跑遍现有基准就需 184 个 A100 GPU 小时），使得系统性的消融几乎无法负担，此前的视频采样、编码器选型、token 整合等关键决策大多缺乏对照实验支撑。

关键贡献

• 系统评测现有视频问答基准，发现大量问题仅靠文本或单帧即可解出，据此构建更具判别性的 ApolloBench
• 发现 Scaling Consistency 现象：约 2–4B 规模模型上的设计决策能可靠迁移到更大模型，大幅降低消融实验的算力成本
• 系统性探索视频采样、视觉编码器组合、视觉 token 重采样与整合等设计空间，给出可复现的最佳实践结论
• 证明 fps 采样在训练和推理阶段都优于均匀采样，并确定每帧 8–32 个 token 是效果与效率的最佳平衡区间
• 提出 Apollo 系列视频大模型，能高效理解长达一小时的视频，在同尺寸模型中取得当期最优结果

总体思路

Apollo 不提出新架构，而是用受控消融回答视频大模型此前长期悬而未决的设计问题：视频该怎么采样、用哪种视觉编码器、如何把视觉 token 压缩并接入语言模型。围绕这条主线，论文先证明「小模型的设计结论可迁移到大模型」（Scaling Consistency），把探索成本降下来；再用小模型做大规模消融找出每个环节的最优选择；同时发现现有视频问答基准很大程度上不需要看视频就能答对，因此另建了更具判别性的 ApolloBench 作评测底座。三条线索汇合后得到 Apollo 系列模型，在多个参数规模上取得当期最优的长视频理解效果。

ApolloBench：过滤掉「看文字/单帧也能答对」的题

先让十个开源视频大模型分别在「完整视频」「仅中心帧」「仅文字问题」三种输入下作答现有六个基准，发现相当比例的问题单靠文本或单帧就能答对，说明这些基准并未真正考验视频理解能力，且视频越长这个问题越严重。据此设定过滤规则，只保留视频输入才能解出的题：

$$q\ \text{保留} \iff \max\big(\mathrm{Acc}_{\text{text}}(q),\,\mathrm{Acc}_{\text{image}}(q)\big) \le 0.5$$

再把剩余题目人工归入 OCR、以自我为中心、空间、感知、推理五类，用模型间答案分布的熵衡量判别力，每类取熵最高的题目共 400 道构成 ApolloBench：

$$H(q) = -\sum_a p(a\mid q)\log p(a\mid q)$$

结果显示 ApolloBench 与现有各基准高度相关，评测时间却缩短了 41 倍。

Scaling Consistency：小模型的设计结论为何能预测大模型

视频大模型集成了多个预训练组件，传统「训练多种规模模型拟合 scaling law」的做法代价过高。论文换一个问法：不同规模模型在同一设计决策上的表现是否相关？用 Qwen2-0.5B/1.5B、Qwen1.5-4B、Qwen2-7B 四种语言模型分别训练 21 种设计变体（共 84 个模型），计算彼此的性能相关系数 $R^2$，发现存在一个约 2–4B 的临界规模：超过它之后与 7B 模型的相关性迅速升至 0.9 以上（4B 与 7B 之间达到 0.938），而 0.5B 模型始终不具备这种预测力。相关性随规模呈对数线性增长，图中给出的拟合关系为：

$$R^2 \approx 0.12\,\ln(N_{\text{B}}) + 0.78$$

数据规模上，这种相关性在训练集达到约 50 万样本后趋于饱和。这意味着后续所有消融都可以在 3B 级模型、75 万样本上完成，再把结论套用到 7B 甚至更大的模型上，从而把探索成本压低一个量级。

帧率采样 vs 均匀采样：为什么效果差了一大截

早期视频大模型多用均匀采样——从视频里等间隔抽 N 帧。问题在于同样是 N 帧，短视频里代表更慢的播放速度、长视频里代表更快的播放速度，等于让模型在每次迭代里看到的「运动快慢」都不一致，天然不利于学习物体的真实速度。按固定 fps 采样则不存在这个问题：只要 fps 固定，帧间时间间隔恒定，运动信息在训练样本间是一致的。论文用 8/16/32/64 帧均匀采样训练模型、再分别用均匀和 fps 方式测试，证实均匀采样的性能劣势来自训练阶段本身，而非测试时的帧数差异。进一步地，采样帧率（fps）与每帧 token 数（tpf）共同决定每秒送入模型的 token 数：

$$\text{tps} = \text{fps} \times \text{tpf}$$

实验发现每帧 8–32 个 token 时短视频与长视频的表现最均衡，且性能主要由 tps 和 tpf 决定，对具体 fps 本身反而不敏感。

视觉编码器的选择与组合

论文比较了 InternVideo2、LanguageBind、VideoMAE、V-JEPA 等视频编码器与 SigLIP-SO400M、DINOv2 等图像编码器。单编码器里，语言监督训练的编码器全面强于自监督编码器，SigLIP-SO400M 表现最好；但视频编码器只在「时间感知」类题目上反超图像编码器，说明当前 LLM 仍难以从图像编码器的逐帧特征里学到精细的时序信息（比如物体运动的速度和方向）。这提示图像编码器和视频编码器其实互补：前者空间表征强但没有时间信息，后者有时间建模但空间表征偏弱。论文沿用已有做法，把两路特征在通道维度拼接后再统一重采样：

$$z = \mathrm{Concat}_{\text{channel}}\big(\phi_{\text{img}}(x),\ \phi_{\text{vid}}(x)\big)$$

InternVideo2 + SigLIP-SO400M 的组合在 ApolloBench 上比最好的单编码器再提升约 7%。

视频 token 的重采样与整合

视觉编码器输出维度通常低于 LLM 隐藏维度，需要上投影，直接把全部视觉 token 投影进 LLM 会造成信息冗余、拖慢长视频处理。论文比较了 2D 卷积+均值池化、MLP+均值池化、Perceiver Resampler 三种重采样方式，Perceiver Resampler 在 ApolloBench 各子类上全面领先。在如何把视觉 token 接入文本序列上，直接拼接、加分隔符、插入时间戳文本等四种方式里，插入「clip 起止时间戳」文本的效果最好，且不需要新学任何 token embedding——只要在视觉 token 之间插入任何形式的文本或可学习 token，都比直接拼接提升 2–3 个百分点。

小结

Apollo 最重要的贡献不是某个具体模块，而是证明了「用小模型做大规模、系统性的消融实验」这条路径本身是可靠的（Scaling Consistency），并配合一个真正考验视频理解而非文本理解的评测基准（ApolloBench），把 fps 采样、双编码器拼接、Perceiver 重采样、时间戳 token 整合这些看似零散的设计选择，梳理成了一套有实验证据支撑的最佳实践。

先在 4 种规模的 Qwen 系列上训练 84 个模型变体验证 Scaling Consistency；再固定 Qwen2.5-3B 对采样、编码器、token 重采样与整合分别消融，统一在 Video-MME、MLVU 等及自建 ApolloBench 评测；最优组合放大后取得同尺寸 SOTA。

关键数据

Apollo 是较早对视频大模型设计空间做系统性、受控消融的工作，把此前散落在各家论文里、缺乏对照的经验性选择（采样方式、编码器搭配、token 整合）整理成有实验证据支撑的最佳实践。它提出的 Scaling Consistency 为后续研究提供了一条低成本的消融范式，ApolloBench 也为后续视频大模型评测提供了更省算力、更具判别性的替代方案。

局限与不足

论文明确没有纳入依赖首轮问题去引导采样的「主动帧选择」和「主动 token 池化」策略（如基于 Q-Former 的方案），因为它们需要在多轮对话中反复重新采样/重新池化，超出了本研究的统一实验框架，实际系统里这类方法可能仍有优势。Scaling Consistency 的验证主要集中在 Qwen 系列 0.5B–7B 这一区间和约 84 个模型变体上，是否能推广到其他 LLM 家族或 30B 以上的更大规模模型，论文没有直接验证。ApolloBench 只覆盖多项选择题形式，400 道题也是从现有基准里筛选而来，对开放式生成、长程叙事理解等能力的判别力尚未验证。