InternVideo3: Agentify Foundation Models with Multimodal Contextual ReasoningInternVideo3：用多模态上下文推理让基础模型走向智能体

开源多模态大模型在短视频问答上表现不错，但面对长视频、需要持续证据积累与工具交互的智能体式任务时明显吃力——多数系统仍把视频当作一次性摘要的静态上下文。InternVideo3 提出「多模态上下文推理」（MCR），把观察、推理、工具调用、反馈与记忆统一放进随时间演化的共享上下文，让长视频理解变成证据积累、信念修正与验证的闭环过程。为让长程滚动在算力上可行，作者设计了 M2LA——压缩 KV 缓存但保留完整多模态 token 流的注意力重参数化，配合续训、短到长微调、强化学习、在线蒸馏的分阶段训练提升长视频推理能力。

此前的开源多模态大模型大多把视频当作一次性输入：抽帧、编码、一次前向给出答案，这在短视频问答上足够，但长视频里模型需要判断已看到什么、还缺什么证据、要不要调用工具、结论是否需要修正，这些超出了单轮问答的能力边界。开源智能体的进展主要集中在文本主导的编程、搜索、工具调用场景，视觉证据驱动的长程推理相对空白。另一重障碍是效率：滚动越长，需要缓存的观察与反馈越多，KV 缓存随之膨胀，常规做法只能靠抽帧、检索或摘要丢信息来省显存。

关键贡献

• 提出多模态上下文推理（MCR），把观察、指令、推理轨迹、工具动作、反馈与记忆统一表示为一个随时间演化的共享上下文。
• 设计 M2LA 注意力重参数化，压缩 KV 缓存中的键值状态、同时保留完整多模态 token 流，让长程多模态滚动在有限显存下可行。
• 提出续训、短到长监督微调、基于规则的强化学习与在线策略蒸馏组成的分阶段训练配方，在开源底座上系统提升长视频推理能力。
• 在短视频、长视频与时空推理基准上取得开源模型中的领先表现，在 Video-MME、MLVU、EgoSchema 等长时任务上增益尤为明显。
• 把 InternVideo3 实例化为具备检索、验证与工具调用能力的视频智能体，展示了递归多模态推理对证据溯源型行为的实际价值。

总体思路

InternVideo3 的整体流程分三层：最上层是「多模态上下文推理」（MCR）这一形式化描述，把每一步的观察、推理、工具动作、反馈都写进同一个随时间累积的上下文里；中间层是 M2LA 注意力机制，负责把这个不断变长的上下文压缩进可承受的显存里；底层是分阶段训练配方，让一个开源多模态底座（Qwen3 系列）在换上 M2LA 之后重新学会长视频推理。推理时模型反复执行「观察-推理-选择动作-接收反馈-更新上下文」的循环，直到给出满足查询的最终答案或触发终止动作。

多模态上下文推理的闭环形式化

MCR 把长视频理解写成一个多步滚动：第 i 步模型基于当前视觉证据 V_i、动作轨迹 A_i、工具反馈 F_i 与累积上下文 C_i 生成推理状态 R_i，再据此选出下一步动作、触发工具或环境反馈、决定下一步该看哪段画面：

$$R_i \sim f_\theta(Q \mid V_i, A_i, F_i, C_i), \quad i=1,2,\dots,N$$

新产生的推理、动作与反馈会被拼接进上下文里，作为下一步条件的一部分：

$$C_{i+1} = C_i \oplus (R_i, A_{i+1}, F_{i+1}), \qquad C_1 = T_{sys}$$

上下文因此充当一个「任务相关的信念状态」，记录模型已经看到什么、推断出什么、采取了什么动作、还剩多少不确定性，滚动在模型自己判断已充分回答查询时终止。

为什么用压缩缓存而不是丢弃证据

常规长视频方案靠抽帧、检索或摘要主动丢弃信息来控制上下文长度，但这些被丢弃的片段后续可能正是验证或纠错所需的关键证据。InternVideo3 反过来选择保留完整的多模态 token 流，把压力转移到注意力内部的状态表示上——用低秩潜在向量替代逐头缓存的键值对，在推理时再重构出每个头专属的键值。这个设计选择的直觉是：证据是否有用往往要到后续推理步骤才能判断，提前用启发式规则丢弃的代价是不可逆的，而压缩缓存状态是可逆的信息瓶颈，代价更可控。

M2LA 的潜在 KV 压缩

M2LA 用一个低秩潜在空间代替标准 GQA 里逐头存储的键值：对带位置信息的通道，用类似 MQA 的方式把多头位置键聚合成共享表示以保持 RoPE 的几何结构；对内容通道，先把键值投影进一个紧凑潜在空间并缓存，再用学习到的上投影按需重构出各头（或分组）专属的键值，从而把缓存大小与原始头数、头维度解耦。层与模态还可以各自设置不同的潜在维度，浅层多保留视觉细节、深层更多依赖语义压缩表示，在显存与重建精度之间做可控折中。

QK-Norm 兼容性与线性近似

Qwen3 等新架构在 RoPE 之前对每个头的 Q、K 分别做 RMSNorm，这本是训练稳定性的设计，却让跨头共享聚合这一压缩手段看起来失效，因为归一化系数 σ(x_h) 随头和输入变化。论文的关键观察是：在高维预训练模型里，这个 RMS 值的分布高度集中，围绕均值 μ 的方差很小，因此可以做一阶近似：

$$\mathrm{RMSNorm}(x_h) = \frac{x_h}{\sigma(x_h)} \approx \frac{1}{\mu} x_h$$

也就是说头级归一化在经验上近似等价于一个常数线性缩放，用一个可学习的「全局归一化-线性」替代原始的逐头归一化路径，就能让 M2LA 的共享聚合重新对上号，从而兼容 Qwen3 这类使用 QK-Norm 的骨架。

分阶段训练与在线策略蒸馏

把骨架换成 M2LA 后模型出现能力错位，因此训练分四步：先做续训恢复语言与多模态对齐能力；再做短到长监督微调，第一阶段 2fps、最多 512 帧（约 3.2 万 token），第二阶段提高到 4fps、最多 2048 帧（最多 25.6 万 token），避免一开始就在最大长度上训练导致优化不稳定；接着用基于规则的组序列策略优化（GSPO）在视频问答与时序定位这类可自动判分的任务上做强化学习；最后做在线策略蒸馏——学生模型按自己采样的轨迹生成回答，教师模型（Qwen3-235B）对同一序列打分，用反向 KL 目标拉近学生分布：

$$\mathcal{L}_{OPD} = \mathbb{E}_{Y\sim \pi_\theta(\cdot\mid V,Q)}\Big[-\frac{1}{T}\sum_{t=1}^{T}\big(\log \pi_\theta(y_t\mid V,Q,Y_{<t}) - \log \pi_{\text{teacher}}(y_t\mid V,Q,Y_{<t})\big)\Big]$$

这种在学生真实访问过的状态上监督的方式，比只在教师生成的数据上蒸馏更能缓解长推理轨迹里的暴露偏差。

小结

一句话记住：MCR 把长视频理解重新定义成观察-推理-行动-反馈-更新上下文的闭环，M2LA 让这个不断变长的上下文缓存得起，分阶段训练则负责把这套闭环能力真正教给模型。

InternVideo3 在短视频（MVBench）、长视频（Video-MME、MLVU、LVBench）与第一视角基准 EgoSchema 上评测，结论是模型在开源视频模型中表现强劲，长时任务增益尤为突出；也评测了带检索与验证工具的视频智能体版本（可读正文未列出各基准分数，训练规模见下方卡片）。

关键数据

InternVideo3 把智能体化从文本主导的编程、搜索、工具调用场景，搬进了此前明显滞后的长视频场景，为视觉证据驱动的闭环推理提供了可复用的形式化（MCR）与工程化（M2LA）方案。其注意力压缩思路呼应了业内潜在注意力换长上下文的路线，若后续开源视频智能体延续这一方向，MCR 有望成为长视频工具调用与记忆管理的通用抽象层。

局限与不足

论文对 M2LA 的近似代价交代不充分：RMSNorm 的线性近似依赖 RMS 值高度集中这一经验观察，并未给出该近似在不同层、不同模态下的误差上界，一旦某些层的 RMS 分布偏离集中假设，重参数化后的注意力可能与原模型产生系统性偏差。同时，正文可读部分没有给出 Video-MME、MLVU、EgoSchema 等基准上的具体分数以及与其他开源模型的直接对比表，也没有披露 M2LA 相对标准 GQA 在显存或延迟上的量化收益，难以判断压缩比与效果之间的真实取舍。视频智能体部分的工具集（ASR、时序定位、网络搜索等）依赖外部模块的准确率，论文未讨论这些工具本身出错时对递归验证机制的影响。