AutoCut：基于多模态离散化与可控生成的端到端广告视频剪辑 · AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation

原文摘要 · English Abstract

Short-form videos have become a primary medium for digital advertising, requiring scalable and efficient content creation. However, current workflows and AI tools remain disjoint and modality-specific, leading to high production costs and low overall efficiency. To address this issue, we propose AutoCut, an end-to-end advertisement video editing framework based on multimodal discretization and controllable editing. AutoCut employs dedicated encoders to extract video and audio features, then applies residual vector quantization to discretize them into unified tokens aligned with textual representations, constructing a shared video–audio–text token space. Built upon a foundation model, we further develop a multimodal large language model for video editing through combined multimodal alignment and supervised fine-tuning, supporting tasks covering video selection and ordering, script generation, and background music selection within a unified editing framework. Finally, a complete production pipeline converts the predicted token sequences into deployable long video outputs. Experiments on real-world advertisement datasets show that AutoCut reduces production cost and iteration time while substantially improving consistency and controllability, paving the way for scalable video creation.

概要

短视频广告制作要经过写脚本、选素材、排序、配乐几道工序，以往的智能剪辑要么靠固定模板，要么把每道工序交给独立模型，表征不通、难以全局把控。AutoCut 用残差量化自编码器把视频帧与音频段压成离散 token，与文本合进同一套词表，一段广告于是变成 LLM 能直接读写的符号串。在 Qwen3-8B 上先做模态对齐、再监督微调，同一模型即可完成片段筛选、排序、脚本生成与配乐四项任务；最后用 FAISS 把 token 映射回素材库片段并渲染成片。理解与生成被收进同一个自回归目标，剪辑决策因此可干预。

早期广告视频自动化以 VideoDiscovery 一类检索框架为代表，从文案直接拼素材，省人力但受制于预定义模板；随后的片段组装网络改善了画面连贯性，却仍靠手工规则驱动，缺少全局可控性。MLLM 出现后，text-to-edit 与 VC-LLM 展示了用自然语言统一感知与创作的可能，但直接套用标准 MLLM 会撞上上下文窗口天花板，大规模素材检索塞不进去。论文把症结归为三点：跨模态耦合松散、缺少可解释控制接口、理解与生成各自优化。

关键贡献

提出首个把多模态理解与可控剪辑统一在一起的端到端广告视频创作框架 AutoCut。
设计多模态离散化策略，用 RQVAE 把视频帧与音频段量化成与文本共享词表的可解释 token。
采用「冻结骨干做模态对齐 + 全参数监督微调」的两阶段轻量训练方案，免去从头预训练。
把片段选择、时序排序、脚本生成、背景音乐选配四项任务统一成同一个下一 token 预测问题。
构建了包含约 70 万对齐样本与约 10 万精选 SFT 样本的大规模真实广告视频数据集。
给出从 token 序列到可播放成片的完整检索与渲染流水线，推理成本比 GPT-4o 流水线低两个数量级。

方法详解（完整做法）

总体思路

AutoCut 的核心假设是：广告剪辑本质上是一串「选哪些片段、按什么顺序放、配什么词、搭什么音乐」的离散决策，因此完全可以交给自回归语言模型来做。流程分三段：先用视觉编码器与音频编码器把原始素材抽成连续嵌入；再用残差量化自编码器 RQVAE 把这些嵌入压成离散 token，与文本 token 合进同一张词表，一段广告于是变成单一的符号串；最后在 Qwen3-8B 上经「模态对齐 + 监督微调」两阶段训练，让模型直接预测目标 token 序列，并通过 FAISS 检索与 ffmpeg 渲染把 token 还原成可投放的成片。输入是商品信息 $x_p$ 、脚本 $x_t$ 、候选视频片段 $x_v$ 与背景音乐 $x_a$ 的任意子集，输出是任务相关的 $y$ 。

任务形式化与四项子任务

论文把整条广告制作链路拆成四个代表性任务，并让它们共享同一套输入输出接口：片段选择（从候选池里挑出与商品相关的镜头）、时序排序（把选中的片段排成连贯叙事）、脚本生成（产出与画面对齐的口播文案）、背景音乐选配（检索或生成匹配多模态语境的 BGM）。四者对应广告创作的主要工序，合在一起既考察模型的跨模态推理能力，也考察它能否产出连贯且可控的剪辑结果。统一接口的好处是同一组权重可以在四个任务间共享知识——脚本生成时学到的卖点结构会反过来帮助片段排序。

多模态编码器（视觉与音频）

视觉侧采用现成的 ResNet-50 架构 CNN 编码器抽取帧级稠密嵌入，该编码器事先在大规模真实广告视频帧上以对比学习目标预训练过，因而嵌入的语义表达力与判别性都较强，既利于后续量化，也让素材库检索更准；论文明说选它是「表征质量、成本与效率之间的务实折中」，而非追求最强骨干。音频侧用在 AudioSet 上训练的 PANNs：每段音频先转成 log-mel 频谱，再过 Wavegram-Logmel-CNN 主干，同时捕捉时域与频域特征，得到的语义级声学嵌入随后同样交给 RQVAE 量化。

RQVAE 残差量化与统一码本

连续嵌入与 LLM 所需的离散序列之间存在鸿沟，论文用 RQVAE 来搭桥：它通过逐级逼近残差的方式把高维隐特征压进有限码本，在连续特征 $f$ 与离散索引 $z$ 之间建立双向映射，训练目标是余弦重建损失

$\mathcal{L}_{\mathrm{rec}} = 1 - \cos(\hat{f}, f)$

其中 $\hat{f}$ 是重建特征。码本规模取 $256{\times}8$ ，即每个视频帧或音频段被编成 8 个 token。这个配置在重建保真度（视频余弦相似度 0.89、音频 0.96）与 token 长度之间取得平衡——层数太少重建失真、太多则序列长度爆炸。

为什么先冻结骨干做模态对齐

统一词表建好后，第一阶段用约 70 万条过滤后的广告样本做多模态对齐：把时间上对齐的三模态 token 串成一条输入串，用标准的下一 token 预测目标优化

$\mathcal{L}_{\mathrm{NTP}} = - \sum_{t} \log P(x_t \mid x_{<t})$

$x_t$ 可以来自任意模态。关键设计是这一阶段冻结 Qwen3-8B 骨干，只更新新引入的多模态嵌入层。直觉在于：新加入的视频/音频 token 在嵌入空间里初始是随机的，若此时放开全部参数，巨大的梯度会把预训练语言能力冲垮；先只训嵌入层，相当于强迫新模态「学着说骨干已经懂的那门语言」，把它们投影进既有语义空间之后再做任务适配，训练才稳。模型在这一阶段习得脚本-镜头接地、音画节奏同步等基础跨模态对应关系。

监督微调与仅响应段计损

第二阶段做全参数监督微调，与对齐阶段用同一套优化配置，区别在于损失只计算在序列的响应段上，而非整条串。每条样本由输入上下文和一个指定目标输出（如排好序的片段序列或生成的脚本）组成，模型只为产出这段目标负责。这一改动把训练信号从「复述输入」收拢到「做出决策」，避免模型把容量浪费在拟合素材描述本身。经此微调后，AutoCut 能在用户输入条件下执行可控的剪辑动作，在各类场景下保持连贯且风格一致。

检索与渲染：从 token 回到可播放视频

模型吐出的是 token 序列而非像素，因此还需一步落地。视频 token 通过 FAISS 相似度检索映射到素材库中最近的片段嵌入，得到视觉上匹配的真实镜头；音频 token 则解码或检索出背景音乐与口播成分；最后由 ffmpeg 负责拼接片段、添加转场、叠加字幕并渲染出 MP4。这条流水线把 token 级的编辑决策与可执行的视频生产连了起来，代价是成片受限于素材库的覆盖面——它不合成新像素，只重组已有资产。评测指标也围绕这套产出设计，例如片段级字数偏差

$WCD = \left| \text{WordCount}_{\text{script}} - \text{WordCount}_{\text{target}} \right|$

用来衡量生成脚本的口播时长是否贴合对应镜头的时间结构。

小结

AutoCut 的关键不在于换了个更强的骨干，而在于用 RQVAE 把视频和音频压成「LLM 读得懂的词」——一旦剪辑变成 token 预测，理解与生成就能在一个目标下联合优化，上下文窗口也不再是素材规模的天花板。

实验与关键数据

数据来自线上真实短视频广告，经 ASR 切句、抽帧与人声/音乐分离解析成三模态对齐序列，对齐阶段约 70 万条、SFT 阶段约 10 万条。评测固定在同一批 364 条视频上，纯文本基线以首帧描述作视觉代理。结论是 AutoCut 在排序、脚本与配乐上领先，片段选择与最强视觉基线持平，人工评测五个维度也更受偏好。

关键数据

片段排序准确率 CRA

0.10714

vs GPT-4o + MGSV 0.07756（+0.02958）

脚本质量 SQ（GPT-4o 百分制）

84.6255

vs GPT-4o + MGSV 83.0290（+1.5965）

片段级字数偏差 WCD（越低越好）

3.0182

vs Qwen3-8B (Caption) 5.2648（-2.2466）

背景音乐相似度 MSS

0.3475

vs GPT-4o + MGSV 0.2656（+0.0819）

片段选择准确率 CSA

0.6593

vs Qwen2.5-VL-32B Instruct 0.6648（-0.0055）

消融：排序准确率 CRA（emb+sft vs 仅 SFT）

0.10714

vs sft only 0.08242（+0.02472）

影响与局限

AutoCut 把「离散化 + 自回归」这条在语音与图像生成里已验证的路线搬到视频剪辑，说明视频不必以连续特征喂给 LLM，压成几个 token 就足以支撑结构化的编辑决策，从而绕开标准 MLLM 上下文窗口装不下大规模素材库的瓶颈。它还给出面向剪辑而非问答的 CSA/CRA/SQ/WCD 指标体系与公开的真实广告数据，后续可控视频创作工作可直接拿它当基线。

局限与不足

论文自陈三点局限：其一，统一 token 化虽显著改善跨模态对齐，画面运动与音频节奏之间仍存在细微失同步，说明多模态耦合尚未真正打通；其二，可控性目前停留在片段级，框架还不支持细粒度、带情绪感知或帧级的编辑，叙事灵活度受限；其三，AutoCut 采用素材式编辑范式，渲染阶段是从素材库里检索并重组已有视频与音频资产，不合成新的像素或原始波形，因此成片质量与多样性被素材库的覆盖面直接锁死。此外视觉前端只用了 ResNet-50 这一相对轻量的 CNN，论文也把换用 ViT、CLIP 或视频编码器列为后续方向；评测仅在 364 条视频的单一划分上进行，规模偏小，且 VSC、SQ 等指标依赖 GPT-4o 打分，存在评判模型自身偏好带来的系统性偏差。