Qwen2.5-VL Technical ReportQwen2.5-VL 技术报告

视觉语言模型此前多用固定或归一化分辨率处理图像视频，细粒度定位、文档解析和长视频时序定位精度受限，时间位置编码也只按帧序号计数、忽略视频真实播放速度。Qwen2.5-VL 用原生动态分辨率的视觉Transformer搭配窗口注意力压低计算开销，把多模态旋转位置编码(MRoPE)的时间分量与视频绝对时间对齐，并扩大预训练语料、辅以拒绝采样与SFT+DPO两阶段后训练。3B/7B/72B三档开源模型由此在文档解析、目标定位与长视频理解上媲美甚至超过GPT-4o、Claude-3.5-Sonnet。

此前的视觉语言模型多依赖固定或归一化分辨率输入，把图像视频压缩裁剪成统一尺寸，导致细粒度物体定位、文档版面还原和长视频事件定位的精度受限；时序编码上大多只用帧序号做位置编码，忽略视频真实播放速度与时长差异，同一位置ID间隔在不同FPS下代表的真实时长并不一致；文档解析则依赖多个专用模型分别处理版面、文字、图表，难以统一进一个通用模型。

关键贡献

• 在视觉编码器32层里只保留4层做全局注意力，其余层用窗口注意力，把计算复杂度从平方级降到线性级，同时保留原生分辨率输入。
• 把动态分辨率处理从空间维度扩展到时间维度，引入动态帧率(FPS)采样，使模型能适应不同采样率的视频输入。
• 把MRoPE的时间分量与视频的绝对物理时间对齐，取代仅按帧序号计数的方式，显著提升秒级事件定位的精度。
• 构建统一的HTML格式文档解析数据，把段落、表格、图表、公式、乐谱、化学式及其版面坐标统一表示，训练出全能文档解析能力。
• 把预训练语料从1.2万亿token扩充到4.1万亿token，并用拒绝采样与两阶段过滤流程构建高质量指令微调数据。
• 用监督微调(SFT)与直接偏好优化(DPO)两阶段后训练框架，在ViT参数冻结的情况下对齐模型行为与人类偏好。

总体思路

Qwen2.5-VL 由三部分组成：以 Qwen2.5 大语言模型为基座的 LLM、重新设计的原生动态分辨率视觉 Transformer（ViT），以及连接两者的 MLP 合并器。输入图像或视频先按 14×14 步幅切成 patch，ViT 里大部分层用窗口注意力、只有 4 层做全局注意力，兼顾原生分辨率与计算效率；相邻 2×2 共 4 个 patch 的特征被合并器拼接并投影到 LLM 的词嵌入维度，再与文本 token 一起送入 LLM 自回归生成。时间维度上，视频帧的 MRoPE 位置编码与真实播放时间对齐，让模型直接感知时长与节奏，而不需要额外的时间戳文本输入。

窗口注意力与原生分辨率编码

传统 ViT 对整张图做全局自注意力，计算量随 patch 数平方增长；原生分辨率输入下不同图像的 patch 数波动很大，容易造成训练和推理时的负载不均衡。Qwen2.5-VL 在 32 层里只保留 4 层（索引 {7,15,23,31}）做全局注意力，其余层把 patch 划分成最大 112×112（8×8 patch）的窗口、只在窗口内做注意力：

$$\text{FullAttn}:O(N^2 d),\qquad \text{WindowAttn}:O(N w d)\ (w\ll N)$$

其中 $N$ 是 patch 总数、$w$ 是单个窗口内的 patch 数；小于窗口尺寸的区域不做 padding，直接按原始分辨率处理，避免了缩放或畸变。

视觉-语言合并器

直接把 ViT 输出的逐 patch 特征序列送入 LLM 会导致序列过长、计算浪费。Qwen2.5-VL 把空间上相邻的 2×2 共 4 个 patch 特征拼接起来，再过一个两层 MLP 投影到 LLM 的隐藏维度：

$$z_i=\mathrm{MLP}\big(\mathrm{Concat}(x_{4i},x_{4i+1},x_{4i+2},x_{4i+3})\big)$$

这一步把视觉 token 数量压缩到四分之一，同时保留了按不同分辨率动态压缩序列长度的灵活性。

绝对时间对齐的 MRoPE

继承自 Qwen2-VL 的 MRoPE 把位置编码拆成时间、高度、宽度三个分量：图像的时间 ID 恒定，高宽 ID 按 patch 的空间位置分配；视频里时间 ID 随帧号递增。但 Qwen2-VL 的时间 ID 只反映帧的先后顺序，不反映视频的真实播放速度——同一时间 ID 间隔在 30fps 和 1fps 的视频里代表完全不同的真实时长。Qwen2.5-VL 让时间 ID 的间隔与帧的真实时间戳成正比：

$$ID_t(f)\propto t_f=\frac{f}{\mathrm{FPS}}$$

使不同采样率的视频在同一套时间坐标系下可比，从而支持秒级的事件定位。

为什么要对齐绝对时间

如果时间位置编码只编码「第几帧」而不编码「第几秒」，模型训练时看到的「帧间隔」和视频实际的播放节奏是脱钩的：同样是位置 ID 相差 1，在不同 FPS 采样的视频里对应的真实时间跨度可以差几十倍，模型很难学到一致的时序规律。把时间 ID 换算成正比于真实时间戳的量，相当于把「时钟」直接嵌进位置编码里，这也是论文能做到秒级事件定位、支持长达数小时视频的关键前提，而不需要额外的时间戳文本或专门的时序预测头——这是解读者对论文设计动机的归纳，论文正文只描述了做法本身。

后训练：SFT 与 DPO

后训练分两阶段，期间 ViT 参数冻结。监督微调（SFT）阶段用 ChatML 格式组织约 200 万条跨模态指令数据，并引入拒绝采样——用中间版本模型生成答案，只保留与标准答案一致、且推理链干净的样本，以强化数学、代码等复杂推理能力。随后的直接偏好优化（DPO）阶段只处理图文和纯文本数据，每条样本只用一次，用偏好对齐目标进一步调整模型行为：

$$\mathcal{L}_{DPO}=-\log\sigma\Big(\beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{ref}(y_w\mid x)}-\beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{ref}(y_l\mid x)}\Big)$$

小结

一句话：Qwen2.5-VL = 窗口注意力压低视觉编码开销 + 绝对时间对齐的 MRoPE 把「时钟」嵌入位置编码 + 规模翻倍的高质量数据与 SFT+DPO 两阶段对齐，三者共同支撑起精确定位、长视频理解与 GUI 代理能力。

论文在学术题库、通用VQA、文档解析、RefCOCO/ODinW定位任务，以及视频理解与时序定位基准上，对3B/7B/72B三档模型与GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro、InternVL2.5做系统对比，并评测纯文本与GUI代理基准，验证语言与工具使用能力未因视觉训练退化。

关键数据

Qwen2.5-VL 是 Qwen 系列继 Qwen2-VL 之后在细粒度感知与时序建模上的关键升级，把窗口注意力、原生动态分辨率与绝对时间对齐这些工程设计整合进统一的开源模型家族；其MRoPE绝对时间对齐方案为后续视频语言模型的时序定位任务提供了参考做法，72B版本也成为开源社区对标GPT-4o、Claude的常用基线。

局限与不足

论文自陈：CoT 推理中间步骤要求同时融合视觉与文本信息，如何验证每一步推理都准确利用了视觉线索仍是尚未解决的挑战，达到最优的模态对齐依然需要进一步的方法改进。在 GUI 代理评测中，Qwen2.5-VL-72B 在 OSWorld 上的成绩只有 8.83，远低于 Claude 的 14.90，说明面对真实桌面环境的复杂多步操作，模型的自主决策能力仍然薄弱，与 ScreenSpot 等静态定位任务的高分并不匹配。此外，在 HallBench、LongVideoBench 等基准上，Qwen2.5-VL-72B 的成绩（55.2、60.7）反而低于此前的 Qwen2-VL-72B（58.1）或 GPT-4o（66.7），说明预训练语料规模翻倍和结构改动并未在所有子能力上都带来单调提升，长视频上下文建模和抗幻觉能力可能存在权衡。报告也未讨论深度或 3D 空间关系建模，物体定位仍局限在 2D 图像坐标系下的边界框与点，无法直接输出物体间的相对深度或三维位置。