LLaVA-OneVision: Easy Visual Task TransferLLaVA-OneVision：单一模型跨越图像与视频

多模态大模型此前多是“各扫一门”——图像模型专攻单图理解，视频模型专攻时序推理，很少有单一模型能在单图、多图、视频三种场景都拿到顶尖成绩。LLaVA-OneVision 用统一的 AnyRes 视觉表示（把图像、多图或视频帧切分/降采样为可控数量的视觉 token）配合两阶段课程微调（先海量单图打基础，再混合多图与视频做“OneVision”联合训练），让同一套架构覆盖三种场景，并借助单图能力涌现出 GUI 操作指引、Set-of-Mark 推理等训练数据未出现的新能力。

此前开源多模态大模型通常按场景各自为战：单图模型（LLaVA-1.5、LLaVA-NeXT 等）持续推高分辨率与数据规模的性能边界，多图场景探索起步较晚且数据有限，视频模型往往为适配长序列而牺牲单图精度。LLaVA-NeXT-Interleave 较早尝试同时覆盖三种场景，但性能仍有限。商业闭源模型（GPT-4V/4o、Gemini、Claude 3.5）已能在三种场景都保持较强表现，开源社区缺少能与之对标、同时兼顾三者的单一模型。

关键贡献

• 提出统一的 LLaVA-OneVision 架构，用同一套参数在单图、多图、视频三种场景上都取得开源模型中的最佳成绩。
• 设计 AnyRes 可变分辨率视觉表示策略，用统一的裁剪与 token 压缩机制适配三种视觉输入的不同 token 预算需求。
• 构建面向知识学习与指令微调的两级高质量数据集，并划分单图与 OneVision（多图+视频混合）两阶段课程训练流程。
• 系统验证了从单图能力向多图与视频任务迁移的有效性，视频理解的显著提升主要来自单图阶段积累的强基础能力。
• 报告了九种未被显式训练过的跨场景涌现能力（如 GUI 操作、Set-of-Mark 推理、图到视频编辑指令），为任务组合式泛化提供实证。
• 开源全部指令数据、代码、模型权重与可视化对话演示，为社区复现与二次开发提供完整基础设施。

总体思路

LLaVA-OneVision 沿用 LLaVA 系列“视觉编码器 + 投影器 + LLM”的极简架构：SigLIP 编码视觉输入得到特征，2 层 MLP 投影器把特征映射进词嵌入空间变成一串“视觉 token”，再交给 Qwen-2 语言模型自回归地生成回答。单图、多图、视频三种场景的差异被完全收敛到“喂给 SigLIP 的是什么”这一个入口：单图场景喂入按 AnyRes 切分的高分辨率图像块，多图场景喂入多张独立图像，视频场景喂入逐帧采样的画面。训练则按“先打基础再扩场景”的课程顺序进行：先用海量单图指令数据练出扎实的单图理解能力，再混合多图与视频数据做 OneVision 联合训练，让单图学到的能力向另外两种场景迁移。

网络架构：SigLIP、投影器与 Qwen-2 的自回归拼接

模型由三个参数化模块组成：视觉编码器 $g_{\psi}(\cdot)$（SigLIP）把输入视觉信号 $X_v$ 编码为特征 $Z_v=g_\psi(X_v)$；投影器 $p_\theta(\cdot)$（2 层 MLP）把 $Z_v$ 映射为视觉 token 序列 $H_v=p_\theta(Z_v)$；语言模型 $f_\phi(\cdot)$（Qwen-2）在视觉 token、指令 token 与历史回答 token 的联合条件下逐词生成答案：

$$p(X_a\mid X_v,X_q)=\prod_{i=1}^{L}p\big(x_i\mid X_v,X_{q,<i},X_{a,<i}\big)$$

这里 $X_v$ 在每一步条件中都显式出现，强调所有回答都要“看图作答”；$X_v$ 具体是什么（单张图像裁块、多图中的一张、还是视频的一帧）由场景决定，但自回归建模的形式完全不变。

AnyRes：按分辨率优先切分的视觉表示

为兼顾性能与算力，作者观察到提高图像分辨率比单纯堆视觉 token 数更有效，于是提出 AnyRes：把图像按宽高配置 $(a,b)$ 切成 $a\times b$ 个裁块，每块单独过编码器，再加一个整图的全局裁块，若每块产生 $T$ 个 token，则总视觉 token 数为：

$$L=(a\times b+1)\times T$$

系统预定义一组候选 $(a,b)$ 配置，取满足分辨率覆盖且裁块数最少的一组，从而在不同宽高比、不同分辨率的图像间自适应切换。

动态 token 压缩：阈值 $\tau$ 控制序列长度

裸切分容易让总 token 数 $L$ 随裁块数线性增长、拖慢训练和推理。为此设置一个总 token 阈值 $\tau$，超过阈值就用双线性插值把每块的 token 数压缩：

$$T_{\text{new}}=\begin{cases}\dfrac{\tau}{(a\times b+1)} & \text{if } L>\tau\\ T & \text{if } L\le\tau\end{cases}$$

也就是说分辨率优先保留、token 数按需压缩——这是为什么 AnyRes 能在保持高分辨率细节的同时不让序列长度失控的关键设计。

三种场景差异化的视觉输入预算

同一套 AnyRes 机制在三种场景里给了不同的“预算倾斜”：单图场景分配最大的裁块数与最长的 token 序列，因为单图数据量最大且质量最高，用长序列表示单图还能让其形式更接近视频序列，方便后续向视频迁移；多图场景反而只用基础分辨率（不做多裁块），以节省算力，把预算让给“多张图”这个维度；视频场景把每帧都降到基础分辨率并用双线性插值继续压 token，从而在固定预算下塞入更多帧，换取时序覆盖范围。三者的取舍本质上是“空间细节 vs 图像数量 vs 时间跨度”之间的预算分配问题。

课程学习式三阶段训练与 OneVision 联合微调

训练分三阶段：Stage-1 只用 55.8 万条图文对训练投影器，把视觉特征对齐进词嵌入空间；Stage-1.5 解冻全模型，用 400 万条重新配文的高质量知识数据（详细描述、OCR/文档、中文数据等）注入知识；Stage-2 先做 320 万条单图指令微调打好单图基础，再用 160 万条混合数据（56 万多图 + 35 万视频 + 80 万单图）做 OneVision 联合训练，让模型同时学会多图与视频任务并把单图能力向这两个场景迁移。视觉编码器的学习率始终设为语言模型的五分之一，避免预训练视觉表征被破坏。

小结

LLaVA-OneVision 的关键不在于发明新模块，而在于用统一的 AnyRes 视觉表示消解三种场景在输入形式上的差异，再用“先单图集中训练、后多场景联合微调”的课程顺序，把单图阶段学到的强能力系统性地迁移到多图和视频场景，从而涌现出训练数据里没有显式出现的组合能力。

作者用 LMMs-Eval 对 0.5B/7B/72B 三档模型统一评测，覆盖单图、多图出域任务与长视频理解等基准，并与 GPT-4V/GPT-4o 对照。72B 模型多数指标介于两者之间，OneVision 阶段训练相对单图阶段带来一致提升。

关键数据

LLaVA-OneVision 延续 LLaVA 系列“简单连接视觉编码器与 LLM 即得强多模态能力”的路线，首次证明同一模型可在单图、多图、视频三大场景同时逼近甚至超越 GPT-4V。它把 LLaVA-NeXT 博客系列中分散的 AnyRes、数据与多场景训练经验整合为可复制配方，成为后续开源视频/多模态模型在数据配比与课程训练设计上的重要参照。

局限与不足

论文作者坦言这是“在固定算力预算内的一次 yolo run”，未对单个组件做充分的单独消融和“去风险”验证，意味着数据规模、模型规模若进一步放大还有明显提升空间。72B 模型虽然性能介于 GPT-4V 与 GPT-4o 之间，但在视觉对话等复杂任务上与商业模型仍有较大差距，作者将其归因于 LLM 能力、训练数据规模与偏好学习（如 RLHF）的不足。此外多图与视频数据的规模远小于单图数据（160 万混合样本中仅 35 万视频、56 万多图），涌现能力更多来自“单图强基础 + 少量多场景数据”的迁移效果，而非在多图或视频上做了充分的专门训练，长视频、高帧率等更苛刻场景下的鲁棒性未被系统验证。