Building a Precise Video Language with Human-AI Oversight构建精确的视频语言：人机协同监督标注框架

视频-语言模型依赖高质量语言监督学习视觉动态，但现有视频文本数据集普遍缺乏清晰标注规范，模型生成描述又易产生幻觉，训练数据质量难以保证。本文提出建设「精确视频语言」的方案：先与百余位专业影视创作者合作制定涵盖主体、场景、运动、空间、摄像机五大维度的结构化规范；再用 CHAI 批判式人机协作框架，让模型写预标注、人类专家只做批判校正，产出的（预标注、批判、后标注）三元组支撑 SFT、DPO 与推理时扩展后训练；最后用训练好的模型为专业视频重新配文，微调 Wan2.2 跟随长达 400 词的细粒度镜头提示。

以往视频-文本数据集大多没有公开、清晰的标注规范，标注者不知道该描述什么、到什么颗粒度，导致术语误用（混淆平移与变焦）、信息缺失（漏摄像机运动）、主观化描述；转向模型自动生成字幕又带来视觉幻觉，如认错左右、编造不存在的物体或运动。「可扩展监督」研究已证明人机协作能让人类监督超越自身能力的模型，但视频描述领域此前仍停留在纯人工或纯模型生成两个极端。

关键贡献

• 与100余位专业影视创作者合作，制定涵盖主体、场景、运动、空间、摄像机五大维度、逾200个视觉与运镜基元的结构化视频描述规范。
• 提出 CHAI 批判式人机协作标注框架，让模型撰写预标注、人类专家专注批判校正，兼顾标注准确性与效率。
• 构建约2万组（预标注、批判、后标注）三元组数据，发布首个同时评测描述生成、奖励建模与批判生成三项任务的统一基准。
• 提出显式利用批判与偏好信号的后训练方案，使开源 Qwen3-VL 在多项任务上超过 Gemini-3.1-Pro 等闭源模型。
• 通过消融实验证明批判的准确性、完整性与建设性三项质量指标直接决定后训练效果，为标注质量控制提供依据。
• 将后训练模型应用于约15万段专业视频的重新配文，微调 Wan2.2 提升对长达400词详细提示词的跟随能力与镜头控制精度。

总体思路

论文围绕「精确视频语言」提出三段式流程：先制定结构化的描述规范，规定要描述什么、按什么颗粒度描述；再用 CHAI 批判式人机协作框架把规范落到标注产线，模型生成覆盖面广的预标注，人类专家只需批判校正而非从零写作，产出（预标注、批判、后标注）三元组；最后把这些三元组转成显式的后训练信号，用 SFT、DPO 与推理时扩展提升 Qwen3-VL 在描述生成、奖励建模与批判生成三项任务上的能力，并把训练好的模型用于专业视频的重新配文与文本到视频生成微调。

精确视频语言规范：五维度与视觉基元

作者与逾100位专业影视创作者（导演、摄影指导、特效师、游戏设计师）合作一年，采用自下而上的方式：先请创作者自由描述视频、归纳出他们自然会提及的方面，再整理成五个结构化维度——主体（类型、属性、关系）、场景（视角、叠加信息、场景设定、时间）、运动（动作、互动、群体活动）、空间（景别、构图位置、空间深度、运镜）、摄像机（播放速度、机位高度、角度、镜头、对焦面、稳定性、运动）。配套的 CameraBench-Pro 进一步定义超过200个视觉与运镜基元（约50个摄像机运动、100个摄像机设置、70个影视摄制相关），每个静态属性在镜头起止两端分别标注以捕捉时间变化。

CHAI：批判式人机协作标注流程

CHAI 框架把标注拆成五步：(1) 人类先标注容易被忽略但重要的视觉/运动基元（如摄像机抖动、焦平面变化、机位视角）；(2) 视频语言模型依据这些标注和描述规范撰写高召回率的预标注；(3) 人类审阅预标注并写出纠正性批判，指出错在哪里、如何修正；(4) 模型据批判生成改进后的后标注；(5) 人类再次核验，必要时修改批判直到描述完全准确。这种分工把「生成」交给模型、把「核验」留给人类，理由是大模型已经比多数人写得更流畅，人类的认知资源更该花在事实核查而非从零造句上。

三元组转化为偏好与批判监督信号

标注流程天然产出（预标注、批判、后标注）三元组：后标注总是优于预标注的偏好对，批判则是把「为什么更好」写成自然语言反馈。作者据此设计两类显式训练目标：批判生成，训练模型对任意（视频，描述）对写出纠正性批判，若描述已经正确则目标批判固定为「the caption is accurate and requires no edits」；偏好分类，训练模型把（视频，描述）二分类为 {Yes, No}，Yes 表示更优的后标注。推理时借鉴 VQAScore 的做法，直接用模型输出「Yes」的概率作为奖励分数：

$$r(v,c) = P_\theta(\text{"Yes"} \mid v, c)$$

作者发现这比让模型输出 Likert 量表评分更可靠。

显式偏好与批判信号下的后训练目标

在标准 SFT（直接学习生成后标注）与离线强化学习基线 DPO 之上，作者引入显式的批判与偏好监督。DPO 把偏好对比转成对数几率差的对比损失：

$$\mathcal{L}_{\text{DPO}} = -\mathbb{E}_{(v,c^+,c^-)}\Big[\log\sigma\Big(\beta\log\frac{\pi_\theta(c^+\mid v)}{\pi_{ref}(c^+\mid v)}-\beta\log\frac{\pi_\theta(c^-\mid v)}{\pi_{ref}(c^-\mid v)}\Big)\Big]$$

而作者的方案在此基础上叠加批判生成与偏好分类两个显式子目标，与描述生成的 SFT 目标一起联合训练：

$$\mathcal{L} = \mathcal{L}_{\text{caption}} + \mathcal{L}_{\text{critique}} + \mathcal{L}_{\text{pref}}$$

三个子任务共享同一个骨干模型（Qwen3-VL），让批判与偏好信号直接反哺描述生成能力，而不只是隐式地通过偏好对比间接起作用。

为什么批判质量决定后训练效果

作者认为有效的批判必须同时满足三项性质：准确（不引入错误指认）、完整（不漏报错误）、建设性（既指出错在哪里也给出怎么改）。CHAI 的标注流程强制标注者写出「能直接指导模型产出最终后标注」的批判，天然满足这三项性质。为验证其必要性，作者用 Gemini-2.5-Pro 对真实批判注入受控错误，分别破坏准确性（替换一个正确判断为错误判断）、完整性（删掉一处必要修正）、建设性（去掉修正方式只留问题描述），结果显示破坏任一性质都会让下游任务性能显著下降——这说明批判「质量」而非「数量」才是可扩展监督真正的杠杆，单纯收集更多批判文本并不足够。

评测协议：描述生成、奖励建模与批判生成三项任务

基准从约2万组三元组中划出5千组作为留出评测集，覆盖影视、游戏、广告与用户生成视频，同时标注主体、场景、运动、空间、摄像机五个方面。三项任务分别是：描述生成（视频→描述，用 BLEU-4 对参考描述打分）、奖励建模（[视频,描述]→分数，判断后标注是否获得比预标注更高的分数，机会水平为0.5的二分类准确率）、批判生成（[视频,描述]→批判，用 BLEU-4 对参考批判打分，另附 ROUGE 与批判引导修订的代理指标）。BLEU-4 沿用标准的 n-gram 精确率几何平均定义：

$$\text{BLEU-4} = \text{BP}\cdot\exp\Big(\sum_{n=1}^{4}\tfrac{1}{4}\log p_n\Big)$$

其中 $p_n$ 是 n-gram 精确率，$\text{BP}$ 是长度惩罚项。三项任务联合评测的设计意图是覆盖后训练全链路——不仅要模型会写描述，还要能判断描述好坏、能给出可执行的修改建议。

小结

CHAI 的关键不是某个新模型结构，而是一套把「人类监督」重新分配到「批判」而非「生成」上的标注协议，并证明批判的准确、完整、建设性三项质量直接决定这套协议能榨取出的后训练收益。

作者在约2万组三元组（5千组留作评测基准，覆盖影视、游戏、广告与UGC视频）上评测描述生成、奖励建模、批判生成三项任务，对比十余个开闭源模型；再对约15万段专业视频重配文后微调 Wan2.2。结果显示现成模型主体、场景尚可，运动与摄像机维度偏弱，结合偏好与批判信号后训练后三项任务均大幅超越基线。

关键数据

这项工作把视频描述标注从「收集」转向「建设」，将 NLP 中的可扩展监督（scalable oversight）思想系统迁移到视频语言领域，证明批判质量而非标注数量才是后训练成败的关键。CHAI 框架与三元组数据为后续视频理解、奖励建模与视频生成的人机协作标注提供了可复制的范式，其在专业视频生成微调上的应用也为迈向电影级文本到视频生成提供了初步路径。

局限与不足

框架高度依赖百余名经过筛选与培训的专业标注者及配套的同行评审激励机制，人力与培训成本较高，难以在缺乏专业创作者资源的场景下低成本复制；标注规范虽经过一年打磨，但仍以影视摄制术语为核心，对其他文化语境或非专业拍摄风格（如手机随手拍）的覆盖有待验证；批判质量的消融依赖 Gemini/GPT 等模型注入的可控错误来模拟失败模式，替代不了真实标注中更复杂的错误分布；此外论文主要在 Qwen3-VL-8B 与 Wan2.2 上验证效果，更大模型或其他视频生成骨干上的可迁移性尚未评估。