Qwen2.5-Omni Technical ReportQwen2.5-Omni 技术报告

以往多模态大模型多止步于“理解”——把图像、音频转成 token 喂给 LLM，输出仍是文本，很少能像人一样同时看、听、说，还能流式、低延迟地给出语音回复。Qwen2.5-Omni 把文本、图像、音频、视频统一到一个端到端模型，把“实时理解”与“流式语音生成”接到一起：Thinker 负责理解与文本生成，Talker 复用其隐藏表示流式吐出语音 token；配合 TMRoPE 对齐音视频时间，编解码器改造成分块/滑窗结构以压低首包延迟。7B 单一模型因此能追平甚至反超同规模专用模型，语音指令跟随也接近纯文本水平。

此前的语言-视觉/语言-音频模型大多只解决“理解”侧：把图像、音频编码成 token 喂给 LLM，输出仍是文本。要同时处理视觉、听觉并用语音实时作答，至少要解决三点：多模态联合训练如何互相促进而非干扰；视频音画的时间关系如何显式建模而非简单拼接；语音生成如何流式、低延迟输出而不必等文本生成完毕。Qwen2.5-Omni 分别给出 TMRoPE、Thinker-Talker、分块/滑窗流式化三项设计。

关键贡献

• 提出 Thinker-Talker 双通路架构，让文本生成与流式语音生成解耦训练、又能端到端联合推理。
• 提出 TMRoPE 位置编码，把音频与视频的绝对时间信息显式编码进多模态旋转位置嵌入。
• 提出按 2 秒分块的时间交织排布方式，让视觉与音频表示在序列中先后对齐、支持流式预填充。
• 把音频与视觉编码器改造为分块注意力、语音解码器改造为滑动窗口 DiT，从四个维度共同压低首包延迟。
• 为 Talker 设计上下文续写、DPO 强化、说话人微调三阶段训练流程，用强化学习专门治理语音生成中的发音与停顿错误。
• 在 7B 规模上于 OmniBench 等多模态融合基准取得开源全模态模型中的最优表现，语音指令跟随首次逼近纯文本输入水平。

总体思路

Qwen2.5-Omni 用一个模型同时处理文本、图像、音频、视频输入，并以流式方式同时输出文本与语音。整体拆成 Thinker-Talker 两级：Thinker 是一个带音频编码器与视觉编码器的 Transformer 解码器，负责理解多模态输入并生成文本；Talker 是双轨自回归 Transformer，直接读取 Thinker 的高维隐藏表示与已采样的文本 token，流式生成语音 token，再经滑动窗口 DiT 与声码器还原为波形。为了不丢失视频里画面和声音的时间关系，模型还引入 TMRoPE 位置编码与时间交织排布。三者配合，把“理解—决策—发声”这条链路做成可端到端联合训练与推理的单一模型。

Thinker-Talker 双通路架构

直接用一个模型自回归地吐出语音 token 看似更简单，但文本 token 和语音 token 的分布差异很大，混在一起训练会让两种生成目标互相干扰；而把两个模型完全独立训练，又会丢失语义一致性、也难以支持流式生成时“边想边说”的时序关系。论文借鉴人用大脑思考、用口发声但共享同一套神经系统的类比：Thinker 专注理解与文本生成，Talker 不重新学习理解，而是直接共享 Thinker 的历史上下文与隐藏表示，两者端到端联合训练，既避免了目标冲突，又保持了语义一致。

TMRoPE：把时间轴显式编码进位置 id

TMRoPE 把 M-RoPE 的位置 id 拆成时间、高度、宽度三个分量。对文本，三个分量取同一个位置 id，退化为普通 1D RoPE；对图像，时间 id 固定不变，高、宽分量随 patch 在图中的位置变化；对音频与视频，时间 id 按真实时间换算，保证一个 temporal id 恒对应 40ms：

$$t_i=\left\lfloor \frac{\text{time}_i}{40\text{ms}} \right\rfloor$$

这样即使视频帧率不固定、音频和视频的采样密度不同，也能用同一套绝对时间坐标把二者对齐，而不必依赖固定帧率的假设，这是让模型“听觉”和“视觉”真正同步的关键细节。

时间交织排布：让画面先出现、声音紧跟其后

有了对齐的时间 id 后，还要决定音视频表示在输入序列里的排列顺序。论文按每 2 秒切一个块，块内先放视觉表示、再放音频表示，顺序拼接后送入 Thinker。这样模型在时间上先“看到”再“听到”同一段内容，贴近人类多模态感知的先后顺序，也让流式推理可以按块推进，不必等整段视频读完才开始处理，是块状流式设计能够成立的前提。

流式分块注意力与滑窗解码

为降低首包延迟，论文从编码和解码两端同时改造。编码端：把音频编码器的全局注意力改成按 2 秒分块的局部注意力；视觉编码器改用 flash attention，并用一个 MLP 层把相邻 2×2 个 patch token 合并为 1 个，patch size 固定为 14：

$$N'=\frac{N}{4}$$

解码端：语音生成用滑动窗口 DiT，把当前块的感受野限制在“回看 2 块 + 当前块 + 前瞻 1 块”共 4 块：

$$\mathrm{RF}(c)=\{c-2,\,c-1,\,c,\,c+1\}$$

感受野越窄，生成当前语音片段需要等待的未来上下文就越少，首包延迟越低；代价是 DiT 只能看到局部信息，这是论文用生成质量换取流式性的直接取舍，也解释了为什么不直接用全局注意力做码本到波形的转换。

Talker 的三阶段训练与 DPO 稳定化

Talker 的训练分三步：第一步做上下文续写（ICL），用大量多模态对话与语音数据学习从语义表示到语音的单调映射；第二步用 DPO 强化生成稳定性；第三步做多说话人指令微调，提升自然度与可控性。DPO 阶段按词错误率（WER）与标点停顿错误率构造好/坏语音的偏好对 $(\bm{x},\bm{y_w},\bm{y_l})$：

$$\mathcal{L}_{\text{DPO}}(\mathcal{P}_\theta;\mathcal{P}_{\text{ref}})=-\mathbb{E}_{(\bm{x},\bm{y_w},\bm{y_l})\sim\mathcal{D}}\left[\log\sigma\left(\beta\log\frac{\mathcal{P}_\theta(\bm{y_w}\mid \bm{x})}{\mathcal{P}_{\text{ref}}(\bm{y_w}\mid \bm{x})}-\beta\log\frac{\mathcal{P}_\theta(\bm{y_l}\mid \bm{x})}{\mathcal{P}_{\text{ref}}(\bm{y_l}\mid \bm{x})}\right)\right]$$

这一步专门解决预训练数据里标签噪声和发音错误带来的模型幻觉问题，用强化学习而不是单纯扩大数据规模来提升生成稳定性，是 ICL 之外单独补上的一环。

小结

一句话：Qwen2.5-Omni = TMRoPE 对齐时间 + 时间交织排布 + Thinker-Talker 解耦生成 + 分块/滑窗流式化，核心是把“全模态理解”和“流式语音生成”做进同一个可端到端训练的模型里。

评测覆盖 Text/Audio/Image/Video→Text、Multimodality→Text 共 20 余个基准及语音生成（SEED），对照 Qwen2.5-7B、Qwen2.5-VL-7B、Qwen2-Audio。结论：多模态理解追平或反超同规模模型，OmniBench 开源最优，语音指令跟随逼近文本表现。

关键数据

Qwen2.5-Omni 是从“能看懂、听懂”的多模态理解模型，迈向“能实时说话”的全模态交互模型的关键一步：TMRoPE 与时间交织把音视频时间对齐问题显式化，Thinker-Talker 把理解与生成的相互干扰问题结构化地拆开，为后续开源全模态模型、实时语音助手类工作提供了可复用的架构范式与训练流程参照。

局限与不足

论文本身也承认了一些局限：为兼顾多模态能力，Text→Text 上多数任务（如 MMLU-Pro、GPQA、HumanEval）都低于同规模纯文本模型 Qwen2.5-7B，说明多模态联合训练对纯文本能力仍有一定损耗；语音合成在 test-hard 这类高难度场景上（WER 6.54）仍略逊于专用 TTS 系统 Seed-TTS RL（6.42）；视觉 grounding 的 PointGrounding 指标也不及 Qwen2.5-VL-7B。此外论文明确指出视频 OCR、音视频协同理解等场景此前研究不足、评测基准也不完善，这类能力在报告里没有专门的量化评测，只是作为未来方向提出，其在复杂真实场景下的鲁棒性还有待更全面的基准验证。