Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video UnderstandingVideo-LLaMA：指令微调的视听语言模型

Video-LLaMA面向“给LLM装上耳朵和眼睛”这一问题：此前的多模态LLM大多只对齐一种模态，对视频这种同时含画面变化和伴随音频的输入无能为力。论文提出Vision-Language与Audio-Language两分支，分别把逐帧视觉特征、音频片段特征经位置编码注入时序信息，再经各自的Q-Former压成固定数量的查询向量，拼进冻结LLM的文本嵌入序列作为“软提示”，使LLM无需微调自身参数即可同时理解画面、动作变化与背景声音，并配合两阶段训练学会遵循指令而非只复述画面。

在Video-LLaMA之前，BLIP-2、MiniGPT-4、LLaVA已证明“冻结视觉编码器+Q-Former+冻结LLM”能让LLM理解静态图像，VideoChat、Video-ChatGPT进一步把图像编码器扩展到多帧视频，但都只处理画面、丢弃音频。现实视频天然视听一体，只用画面会漏掉对话、环境声音等大量信息。同时音频-文本配对数据远比图文数据稀缺，难以照搬大规模配对训练桥接层的路数，这是此前工作绕开音频模态的直接原因。

关键贡献

• 首次让开源LLM同时具备静态图像、动态视频和音频三种模态的理解能力，填补此前多模态LLM“只懂一种额外模态”的空白。
• 提出Video Q-Former，通过位置编码注入时序信息、再用Query Transformer把可变数量的逐帧特征压缩成固定长度的视频查询向量。
• 借助ImageBind的跨模态共享嵌入空间提出Audio Q-Former，即使从未用音频-文本数据训练也能获得零样本音频理解能力。
• 设计“大规模图文/视频文本预训练+高质量指令数据微调”的两阶段训练流程，分别解决模态对齐与指令遵循两个问题。
• 开源完整的预训练、微调代码与多个模型权重并提供在线demo，推动了后续视频语言模型的社区复现与改进。

总体思路

Video-LLaMA 让冻结不动的LLM同时“看懂”视频画面和“听懂”视频里的声音，思路是分别造两条模态桥梁：Vision-Language分支把逐帧图像特征通过位置编码和Video Q-Former压成固定长度的视觉查询向量；Audio-Language分支把音频片段特征通过位置编码和Audio Q-Former压成固定长度的听觉查询向量。两路查询向量各自经线性层投影到LLM文本嵌入的同一维度空间，拼接到文本提示前面作为“软提示”，冻结的LLM据此在不更新自身参数的前提下生成回答，整套流程再靠两阶段跨模态训练把这些桥接模块调好。

视觉编码与时序位置注入

给定含N帧的视频，冻结的图像编码器（BLIP-2的ViT-G/14+Q-former组合，来自EVA-CLIP）先把每一帧独立映射成 $K_f$ 个 $d_f$ 维图像嵌入，得到逐帧表示：

$$\mathbf{V}=[\mathbf{v}_1,\mathbf{v}_2,\dots,\mathbf{v}_N],\quad \mathbf{v}_i\in\mathbb{R}^{K_f\times d_f}$$

由于图像编码器逐帧独立计算，不带任何时序信息，论文在这些帧表示上叠加可学习的位置编码，用位置序号标记“这是第几帧”，这样后续模块才能区分“同样的画面先出现还是后出现”。

Video Q-Former：把可变长度的帧序列压成固定查询

位置编码后的帧表示被送入结构与BLIP-2 Q-Former相同的Video Q-Former，它对不同帧的表示做交互聚合，输出固定数量、固定维度的视频查询向量：

$$\hat{\mathbf{v}}\in\mathbb{R}^{k_V\times d_v}$$

再经一个线性层把 $\hat{\mathbf{v}}$ 投影到与LLM文本嵌入相同的维度，得到可以直接拼进文本序列的“视频软提示”。这一步的关键是把任意帧数N的视频统一压缩成固定长度 $k_V$，从而让下游LLM的输入长度不随视频长短变化。

音频编码与ImageBind跨模态桥接

音频侧先从视频里均匀采样 $M$ 段2秒的短音频片段，转换成基于128个mel谱bin的语谱图，再交给冻结的ImageBind编码器逐段编码，得到：

$$A=[a_1,a_2,\dots,a_M]$$

选择ImageBind而非从头训练音频编码器的原因是：ImageBind本身已经把图像、文本、音频等多种模态对齐到同一个共享嵌入空间，即便后续Audio Q-Former从未见过音频-文本配对数据，音频表示也天然与视觉、文本表示“住在同一个空间里”，这为绕开音频文本数据稀缺问题提供了结构性基础。

Audio Q-Former与线性投影

和视觉分支对称，音频分支同样先给各段音频表示加可学习位置编码注入时序信息，再送入结构与Video Q-Former相同的Audio Q-Former，把可变长度的音频段序列压缩成固定长度的听觉查询：

$$\hat{\mathbf{A}}\in\mathbb{R}^{K_a\times d_a}$$

之后同样用一个线性层把 $\hat{\mathbf{A}}$ 投影到LLM嵌入空间维度，拼接进输入序列。由于可直接复用视觉分支的位置编码+Q-Former+线性层这套结构，音频分支的实现成本很低。

两阶段训练：先用海量数据对齐语言，再用少量高质量数据学指令

训练分两步：第一阶段用WebVid-2M视频-文本对和CC595k图文对（把图像当作单帧视频），做“给定视频/图像表示生成对应文本描述”的生成式预训练，目的只是让视觉查询尽可能装下视觉知识，即便很多文本描述本身没覆盖全部画面内容；第二阶段换成MiniGPT-4的图像详述数据、LLaVA的图像指令数据和VideoChat的视频指令数据做微调，专门补回第一阶段被牺牲掉的指令遵循能力。音频分支由于缺乏音频-文本数据，直接沿用视觉分支同样的数据和流程来训练，依靠ImageBind的共享嵌入空间把这份“视觉监督”顺带迁移给音频对齐——这也是全文能在完全没有音频监督的情况下依然具备零样本音频理解能力的原因。

小结

Video-LLaMA的关键不是发明新的骨干网络，而是用两套结构相同、参数独立的“位置编码+Q-Former+线性层”桥接模块，把视觉和音频分别接到冻结LLM上，并借ImageBind的共享嵌入空间和两阶段训练策略，巧妙绕开了音频-文本数据稀缺的难题。

论文没有做量化基准测试，而是以案例研究展示能力：视听联合感知（同时回答画面与声音相关问题）、视频中的时序动作捕捉、静态图片理解、常识概念识别四类场景，均通过对话示例定性验证，结论是Video-LLaMA能在这四类场景下生成贴合视觉与听觉线索的回答。

关键数据

Video-LLaMA是较早把“图像LLM”范式（BLIP-2式Q-Former桥接）系统性扩展到“视频+音频”的工作之一，证明冻结LLM配合轻量Q-Former桥接模块即可获得多模态对话能力，且能推广到更多模态。其“借ImageBind共享空间绕开音频-文本数据稀缺问题”的做法，为后续模型处理罕见模态提供可复用技巧，也是同期工作里首个覆盖音频的方案。

局限与不足

论文本身列出三点局限：一是感知能力受限于当前训练数据的质量和规模，团队正在构建更高质量的视听文本对齐数据；二是难以处理电影、电视剧等长视频，因为长视频信息量大、对计算资源要求更高，这仍是研究社区正在解决的问题；三是继承了底层冻结LLM的幻觉问题，容易生成与画面/音频不符的内容，论文表示会持续开发更强的版本来缓解。此外，论文全篇只给出定性案例，没有在任何公开视频问答或字幕生成基准上给出量化数字，难以与同期VideoChat、Video-ChatGPT等工作做严格的数值对比，这也是后续版本（Video-LLaMA 2）重点补齐的部分。