Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language ModelsVideo-ChatGPT：面向细粒度视频理解的大视觉-语言模型

视频-语言对话此前依赖为特定任务单独训练的判别式模型，难以支持开放式问答。Video-ChatGPT 把预训练图文大模型 LLaVA 直接适配到视频领域：用 CLIP ViT-L/14 逐帧提取视觉特征，沿空间维和时间维分别做平均池化得到互补的时间与空间表示，拼接后经一个可训练线性层投影进 LLM 词嵌入空间，视觉编码器与语言模型全程冻结，只训练这一层适配器。论文同时构建了人工加半自动标注结合的10万条视频指令数据流水线，并提出 GPT-3.5 打分的定量评测基准，使视频对话模型首次有了可复现的量化指标。

在 Video-ChatGPT 之前，视频理解模型多为面向具体任务（分类、检索、字幕生成）训练的判别式模型，缺乏开放式对话与推理能力；而将图文大模型直接迁移到视频，又面临视频-文本配对数据稀缺、从零训练代价高昂的问题。已有的视频 VL 模型（如 Video Chat、Video-LLaMA、LLaMA-Adapter）虽引入了 LLM，但受限于指令数据规模与质量，在细节把握和时序理解上表现有限，也缺乏统一、可复现的定量评测手段。

关键贡献

• 提出 Video-ChatGPT，将预训练图文大模型 LLaVA 适配到视频领域，只训练一个线性投影层即可完成视频-语言对齐
• 设计时空特征分离池化方案，分别沿空间维和时间维平均池化得到互补的时间表示与空间表示并拼接
• 构建包含人工标注与半自动标注的10万条高质量视频指令数据集，兼顾数据质量与规模
• 提出结合 BLIP-2、GRiT、Tag2Text 三种现成模型互相校验去噪的半自动标注流水线
• 提出基于 GPT-3.5 打分的视频对话定量评测基准，覆盖正确性、细节、上下文、时序理解与一致性五个维度
• 在 MSVD-QA、MSRVTT-QA、TGIF-QA、ActivityNet-QA 四个零样本问答数据集上取得当时的最优结果

总体思路

Video-ChatGPT 把视频对话问题转化为「视觉特征适配 + 大语言模型生成」两步：先用 CLIP ViT-L/14 逐帧提取视觉特征，分别沿空间维和时间维做平均池化得到互补的时间表示与空间表示并拼接，再经一个可训练的线性层投影进语言模型的词嵌入空间，与文本指令的词嵌入拼接后一起送入以 LLaVA 权重初始化的 Vicuna-7B。训练时只更新这一线性适配层，视觉编码器与语言模型全程冻结，模型用标准的自回归似然目标学习根据视频和问题生成回答。整个方案架构极简，把主要精力放在10万条高质量视频指令数据的构建与定量评测基准的设计上。

时空特征的分离与池化

给定视频 $V_i\in\mathbb{R}^{T\times H\times W\times C}$，CLIP 视觉编码器把 T 帧各自独立编码，得到逐帧特征 $x_i\in\mathbb{R}^{T\times h\times w\times D}$，其中 $h=H/p,\ w=W/p$，p 为 patch 大小、$N=h\times w$ 为每帧的 token 数。沿空间维（N 个 token）做平均池化得到时间表示 $t_i$，沿时间维（T 帧）做平均池化得到空间表示 $z_i$：这一步用两种池化方向分别保留「跨帧的时序变化」和「单帧内的空间布局」这两类互补信息。

$$t_i=\frac{1}{N}\sum_{n=1}^{N}x_i[:,n,:]\in\mathbb{R}^{T\times D},\qquad z_i=\frac{1}{T}\sum_{t=1}^{T}x_i[t,:,:]\in\mathbb{R}^{N\times D}$$

时空特征拼接与线性投影

时间表示与空间表示直接在 token 维拼接，得到视频级特征：

$$v_i=[t_i\ z_i]\in\mathbb{R}^{(T+N)\times D}$$

再经一个简单的可训练线性层 g 把 $v_i$ 投影到语言模型的词嵌入维度 K，得到视觉 token：

$$Q_v=g(v_i)\in\mathbb{R}^{(T+N)\times K}$$

论文特意强调 g 可以换成更复杂的适配器结构，但实验发现这个最简单的线性层已经能取得有竞争力的效果，没有必要为了性能提升增加额外的适配器容量。

视频指令微调目标

训练时把视觉 token $Q_v$ 与文本指令的词嵌入 $Q_t\in\mathbb{R}^{L\times K}$ 按「USER: 指令 视频token Assistant: 回答」的模板拼接后送入 Vicuna，用标准自回归似然目标只对回答部分的 token 计算损失：

$$\mathcal{L}=-\sum_{s}\log p_\theta\big(a_s \mid a_{<s}, Q_t, Q_v\big)$$

训练过程中视觉编码器和语言模型的参数全部冻结，只有线性层 g 参与梯度更新，使视频特征逐渐对齐到已经预训练好的语言词嵌入空间。

人工与半自动结合的数据构建

10万条视频指令数据来自两条互补的流水线：人工标注部分让专业标注者在 ActivityNet-200 的原始字幕基础上补充外观、时空定位等细节，数据质量高但成本大，约占30%；半自动部分则用 BLIP-2 生成逐帧字幕、GRiT 生成密集物体字幕、Tag2Text 生成关键帧标签，再用标签词表过滤掉字幕中标签之外的噪声描述，最后用 GPT-3.5 把多帧信息合并成一段连贯的视频级描述并剔除跨帧不一致的内容，约占70%，兼顾规模与质量。GPT-3.5 还会基于增强后的字幕生成详细描述、摘要、问答、创意生成、多轮对话等多种类型的指令数据。

为什么只训练一个线性适配层就够

CLIP 视觉编码器和 Vicuna 语言模型都已经在各自的海量数据上充分预训练，视频理解真正缺的不是「感知」或「语言生成」能力，而是把二者的表示空间对齐起来；冻结两端、只学一个线性适配层，相当于把视频特征直接「翻译」成语言模型已经认识的词向量，既避免了从零训练视觉-语言对齐所需的海量视频数据，也避免了微调整个 LLM 带来的灾难性遗忘和高昂算力开销。这也是论文用极简架构却能取得同期 SOTA 效果的关键直觉。

小结

Video-ChatGPT 的核心是「冻结的 CLIP 编码器 + 时空双向池化 + 一层可训练线性适配器 + 冻结的 LLM」，真正的技术含量更多落在高质量视频指令数据的构建与量化评测基准的设计上，而非模型结构本身。

实验以 LLaVA 为基座，仅微调线性投影层，在自建10万条视频指令数据上训练3个epoch。评测分两部分：ActivityNet-200 上 GPT-3.5 打分的生成式基准，以及 MSVD-QA 等四个数据集的零样本问答。均优于同期的 Video Chat、LLaMA-Adapter、Video-LLaMA。

关键数据

Video-ChatGPT 是把图像级大视觉语言模型（LLaVA）低成本迁移到视频领域的早期代表工作之一，证明冻结视觉编码器与 LLM、只训练一个适配层同样能获得有竞争力的视频对话能力。其半自动数据标注流水线与 GPT 辅助定量评测基准，为后续视频大模型的训练数据构建和评测方式提供了可复用的范式，被大量后续视频 LMM 工作引用和沿用。

局限与不足

论文自陈两点局限：一是对长视频（超过2分钟）中细微的时序关系把握不足，容易影响预测的准确性；二是难以识别画面中小物体的细节，常常遗漏嵌入在这些细节里的信息。此外，时空特征仅通过简单平均池化压缩，本质上会丢失细粒度的空间定位与逐帧顺序信息；半自动标注流水线依赖 BLIP-2、GRiT、Tag2Text 等现成模型和 GPT-3.5 生成/过滤，标注质量的上限受限于这些外部模型本身的能力，论文中52%的盲测区分准确率也只是接近随机而非完全达到人工标注水准。