AgentMV: A State-Guided Multi-Agent Framework for Budget-Aware Music Video GenerationAgentMV：面向预算受限音乐视频生成的状态引导多智能体框架

音乐视频（MV）生成要求全曲范围内保持视觉一致性、复现主题动机、把镜头切换与音乐节奏对齐，还要控制生成总成本，而现有方法多是逐段独立生成或采用固定生成策略，缺乏全局规划能力。AgentMV 把制作流程拆成音乐感知、脚本规划、视觉素材提供、片段实现、最终装配五个专职智能体，通过一个「结构化持久状态」（SPS）在各阶段之间传递并校验数据；核心创新是把「动机感知的片段实现」建模为分组多选背包问题（MCKP），用动态规划在全局预算约束下联合权衡片段重要性、生成质量、成本与动机复用，从而在质量与成本之间取得更好的折衷。

扩散模型已能生成视觉效果不错的短视频片段，但完整歌曲的 MV 生成仍困难：需同时维持长程视觉一致性、动机复现、与节奏同步的剪辑点及可控成本。已有系统如 AutoMV、MuseV、VideoComposer 多逐段独立生成或对全曲用统一策略，忽视乐段重要性差异，又对重复视觉内容反复重新生成，增加成本却未提升连贯性；若压成本统一降质，又引入身份漂移。业界缺少兼顾全局创意意图、非局部动机依赖与执行一致性的机制。

关键贡献

• 提出以结构化持久状态（SPS）为协议的五智能体 MV 生成框架，将长时程制作拆分为感知、规划、素材、实现、装配五个阶段并逐阶段校验提交
• 把动机感知的预算分配建模为分组级多选背包问题（MCKP），并给出动态规划求解器以在全局预算下选出最优生成方案
• 设计共享前缀-独立后缀的动机复用机制，让重复出现的视觉主题只生成一次前缀、多次复用，显著降低生成成本
• 引入节拍同步装配策略，把片段边界对齐到最近的下拍点以提升音乐-画面的节奏同步性
• 在五首歌的先导基准和全曲基准上系统验证了框架相对已有 MV 生成方法的质量-成本优势，并做了消融与规划信号有效性验证

总体思路

AgentMV 把「给定音频 A、歌词 L、预算 B，生成完整 MV」这件事拆成一条由五个专职智能体依次执行的流水线：音乐感知者（Music Percepter）把音频/歌词对齐成统一时间坐标系；脚本规划者（Script Planner）据此生成分段脚本、打显著性分并求解预算分配；素材提供者（Asset Provider）把文字脚本转成人物/场景的视觉锚点图；片段实现者（Segment Realizer）按分配方案调用视频后端真正生成片段；装配者（Assembler）把所有片段按原时间轴拼回完整视频。五者不靠自由文本对话协作，而是共同读写一个「结构化持久状态」（Structured Persistent State，SPS），SPS 兼具智能体间协议、MV 持久记忆和执行台账三重角色，每次写入只有字段齐全且内部一致才会提交，否则回退到上一个检查点。

结构化持久状态（SPS）

SPS 维护角色库、场景库（持久视觉参考）、一张有向「共享图」（记录重复片段的依赖关系）、动机索引（可复用内容）、动作分配（生成策略）和检查点（执行历史），同时记录感知时间线、脚本、显著性分数、预测/实际成本、片段路径与失败状态。它把「输入歌曲」和「最终输出」之间的每一步决策都变成可追溯、可恢复的记录，是让多智能体协作而不产生信息丢失或漂移的关键基础设施。

音乐感知与分段表示

音乐感知者用 Whisper 得到词级歌词时间戳、SongFormer 估计结构分段与下拍点、Qwen3-Omni 提取归一化能量等声学描述符，对齐后把歌曲切成 N 个连续片段，每个片段的统计量表示为：

$$x_i=(t_i^s,t_i^e,d_i,r_i,L_i,\mathcal{B}_i,e_i)$$

其中 $t_i^s,t_i^e$ 是时间边界，$d_i=t_i^e-t_i^s$ 是时长，$r_i$ 是结构角色（如主歌/副歌），$L_i$ 是对齐的歌词片段，$\mathcal{B}_i$ 是节拍锚点，$e_i$ 是归一化能量。规划器用 $(r_i,L_i,e_i,d_i)$ 来写脚本和分配预算，装配者后续用 $(t_i^s,t_i^e,\mathcal{B}_i)$ 还原歌曲原始节奏。

动机感知的分组多选背包问题（MCKP）

规划器先给每个片段脚本打显著性分 $s_i\in\{1,\ldots,5\}$，再识别结构上重复出现、视觉概念相同的「动机」，把它们归入同一个共享组：组内指定一个「所有者」片段生成共享前缀，其余「消费者」片段只需生成各自独立的后缀并复用所有者的前缀。设 $\mathcal{G}$ 为共享组集合，$P_g$ 为组 $g$ 的可行实现方案集合，$c_{gp}$、$U_{gp}$ 分别是方案 $p$ 的成本与效用，$y_{gp}$ 是是否选中该方案的 0/1 变量，预算分配问题写成分组级 MCKP：

$$\max_{\{y_{gp}\}}\ \sum_{g\in\mathcal{G}}\sum_{p\in P_g}U_{gp}y_{gp}\quad \text{s.t.}\quad \sum_{g\in\mathcal{G}}\sum_{p\in P_g}c_{gp}y_{gp}\leq B,\ \ \sum_{p\in P_g}y_{gp}=1,\ \forall g\in\mathcal{G}$$

对单片段组（只能选 High 或 Mid 两档质量），设 $C(a,d)$ 为动作 $a$ 作用于时长 $d$ 片段的估计成本、$Q(a)$ 为该动作的校准质量分，成本与效用为：

$$c_{gp}=C(a_k,d_k),\qquad U_{gp}=s_k\,d_k\,Q(a_k)$$

对共享组（所有者前缀时长 $d_i$，消费者 $j$ 的独立后缀时长 $d_j$），成本把前缀只算一次、效用则在组内所有成员间累加：

$$c_{gp}=C(a_i,d_i)+\sum_{j\in g}C(a_j,d_j),\qquad U_{gp}=Q(a_i)\sum_{j\in g}s_jd_i+\sum_{j\in g}Q(a_j)s_jd_j$$

预算被离散化为整数单位后用动态规划求解，得到全局最优的可行方案。这样设计的关键直觉是：动机复用让「前缀成本只付一次、效用却在多个片段上累计」，天然地把预算向「显著、且被多次复用」的视觉主题倾斜，而不是像以往方法那样对每个片段的生成决策各自独立、互不通气。

素材提供与共享前缀-独立后缀实现

素材提供者读取脚本中的人物、场景、风格与镜头描述，用 Seedream 生成人物肖像、场景参考和分段关键帧三类资产，并赋予持久标识符，供非相邻片段引用同一实体时保持视觉锚点一致。片段实现者按依赖顺序执行：所有者先生成时长 $d_i$ 的共享前缀并登记进动机索引，消费者再只调用后端生成各自的独立后缀，与前缀拼接成完整片段，实现过程写作：

$$v_i=\mathcal{F}(x_i,a_i,T_i,R_i,E_i,M_i)$$

其中 $x_i$ 是感知统计量，$a_i$ 是分配的动作，$T_i$ 是镜头提示词，$R_i,E_i$ 是检索到的人物/场景条件，$M_i$ 是可选的可复用动机条目。这样组内实际成本正好对应前面 MCKP 中 $c_{gp}$ 的定义，而非「每次出现都重新生成一遍完整片段」。

节拍同步装配

装配者把所有实现好的片段 $\{v_i\}$ 按原歌曲时间轴拼接：每个片段被裁剪或延长到计划时长 $d_i$，内部边界在容差范围内对齐到最近的节拍锚点（否则保留原边界），并依据相邻结构角色选择硬切或淡入淡出等转场类型，最终与原音频复用合成完整 MV。由于装配只是对已有素材做剪辑，不产生额外生成成本，这也是为什么消融实验中去掉节拍同步装配几乎不影响 Cost 指标，却大幅降低 BeatAlign。

小结

AgentMV 的关键不是某个单点的生成模型改进，而是用「结构化持久状态」把长时程多智能体协作变成可校验、可恢复的执行台账，并把「动机复用+预算约束」显式建模成分组级背包问题用动态规划求解，从而在片段级独立决策之外获得了全局最优的质量-成本折衷。

实验设五曲先导基准（对比 MuseV/VideoComposer/AutoMV）与完整歌曲基准（分配与消融），片段固定 5 秒、1080×1920，后端 Seedance/Seedream。结论：AgentMV 的 BeatAlign、CQR、动机一致性与成本全面领先，消融证实三组件各有贡献。

关键数据

AgentMV 把「多智能体+持久化状态」的协作范式和「资源约束下的组合优化」结合起来，为长时程多媒体生成任务提供了一种可落地的全局规划思路，区别于以往仅在单模型或单次推理轨迹内做质量-效率权衡的工作。它把经典的多选背包问题引入生成式 AI 的预算调度场景，为后续长视频、长篇故事生成等需要跨片段协调与成本控制的任务提供了可复用的框架范式。

局限与不足

论文的对比基准和消融实验都建立在五首歌的先导/全曲基准上，样本量较小，作者也在正文中承认「小规模验证样本」意味着显著性打分与质量校准比等规划信号应被视为规划代理量而非普适的感知质量度量。评测大量依赖 GPT-4o 作为质量判官和 Qwen-Plus 作为显著性打分器，这类基于大模型的自动评测本身可能带有系统性偏差，论文只做了与人工评分的相关性校验（Pearson 0.936），未做更大规模、更多样化歌曲风格上的验证。此外，动机复用策略在 CLIP 视觉-语义对齐指标上略逊于 AutoMV，说明「长程一致性」与「局部语义对齐」之间存在权衡，论文未给出让二者同时最优的机制。最后，未来工作也提到需要更灵活的协调策略和更大规模、含人类偏好研究的评估，说明当前系统在协调灵活性和评估广度上仍有明显局限。