Salt: Self-Consistent Distribution Matching with Cache-Aware Training for Fast Video GenerationSalt：面向快速视频生成的自洽分布匹配与缓存感知训练

视频扩散模型蒸馏到2-4步推理时，分布匹配蒸馏（DMD）虽能保留锐利细节，却只在每个噪声层独立监督，不约束相邻步骤组合后的行为，导致步数越多反而画质越差（“组合性缺陷”）。本文提出 SC-DMD，加一个「直接一步 vs. 组合两步」端点一致性正则来纠正。针对自回归实时生成，论文把 KV 缓存当作带质量等级的条件，提出混合步数训练配合缓存对齐损失。两者构成 Salt 框架，在 Wan 2.1、Self Forcing、LongLive、Causal Forcing 等主干上都取得一致提升，且不增加推理开销。

早期轨迹式一致性蒸馏直接回归教师的去噪轨迹，会把预测拉向「条件平均」，造成画面过平滑、动作保守。DMD 转而让学生输出分布去匹配教师分布，不强求单一轨迹，更锐利，已成为 CausVid、Self Forcing、LongLive 等少步/自回归实时生成系统的标配。但这些系统多工作在 2-8 步，依赖反复组合去噪算子，而 DMD 训练目标纯局部，不约束相邻时间步组合后的行为；自回归场景下，早期块误差还会编码进 KV 缓存并逐步传播放大。

关键贡献

• 首次系统指出并实验验证了 DMD 的「组合性缺陷」：局部的逐步监督无法保证多步组合后的行为一致，步数增多反而会导致过曝、细节丢失等退化。
• 提出 SC-DMD，用一个基于半群律（semigroup law）缺陷的自洽正则项，约束「直接一步到位」与「分两步走」的终点保持一致，同时保留 DMD 本身的分布匹配能力和锐利度。
• 针对自回归实时视频生成，提出缓存感知混合步数训练，让模型在 K∈{2,4,8} 的多种步数下轮流训练，从而暴露给模型各种质量的 KV 缓存。
• 提出缓存条件下的特征关系对齐损失，用更高步数、质量更好的参考分支去指导低步数、质量较差的分支，在 TRD 风格的关系特征空间中对齐。
• 在 Wan 2.1（I2V/T2V）、Self Forcing、LongLive、Causal Forcing 等多个主干和 VBench/VBench-I2V/VBench-Long 多个基准上验证了方法的通用性和长视频稳定性，且不需要改动模型结构或推理流程。

总体思路

Salt 的输入是一个预训练好的多步扩散/流匹配视频教师模型，目标是蒸馏出一个只需 2-4 步（NFE）推理的学生生成器 $v_\theta$。整体分两层：第一层是 SC-DMD，在标准 DMD（分布匹配蒸馏）损失之外，额外加一个「自洽」正则项，约束学生模型的单步去噪算子在不同组合路径下（直接一步 vs. 拆成两步）产生一致的终点，从而修复 DMD 纯局部监督导致的多步漂移问题；第二层是针对自回归实时生成场景的缓存感知训练，把 KV 缓存看作一个带质量等级的条件变量，用混合步数 rollout 和跨步数的特征对齐损失，让模型适应推理时遇到的各种质量的缓存。两层机制组合后不改变模型结构和推理流程，可以直接套在 Wan 2.1、Self Forcing、LongLive、Causal Forcing 等已有主干上。

概率流 ODE 与流映射的半群律

论文从概率流 ODE 视角出发：噪声状态 $x_t$ 按学到的向量场演化，存在一个把高噪声状态映射到低噪声状态的「流映射」$\Phi_{t\to s}$。精确的 ODE 流映射满足组合（半群）律——先从 $t$ 走到中间点 $u$，再从 $u$ 走到 $s$，结果应该和直接从 $t$ 走到 $s$ 完全一致：

$$\Phi_{t\to s}=\Phi_{u\to s}\circ\Phi_{t\to u},\quad\forall\, t>u>s$$

这条性质是后面自洽正则设计的理论依据：学生模型的欧拉去噪算子如果想在任意步数下都表现稳定，理论上也应该近似满足这条半群律。

DMD 的组合性缺陷

学生用一步欧拉更新 $\Psi_\theta^{t\to s}(x)\triangeq x-(t-s)v_\theta(x,t,c)$ 实现去噪，K 步推理就是反复调用该算子。标准 DMD 的生成器更新方向为

$$\nabla_\theta \mathcal{L}_{DMD}=\mathbb{E}_{t,z,\epsilon}\Big[(s_\phi(x_t,t)-s_r(x_t,t))\frac{\partial x_t}{\partial\theta}\Big]$$

其中 $s_\phi$、$s_r$ 分别是可学习的「伪」分布得分和教师得分。这个目标在每个采样到的噪声层 $t$ 上都是独立优化的，不约束相邻时间步的行为如何组合。论文在 Wan 2.1 1.3B 上用 4/8/16 步训练三个 DMD 学生并对比，实验发现步数越多反而画质越差（过曝、细节破坏），验证了这种「组合性缺陷」并非某个具体目标函数的偶然问题，而是局部监督本身缺乏组合约束导致的结构性问题。

SC-DMD：半群缺陷正则

为修复组合性缺陷，论文给定一个三元组 $(t_s,t_m,t_e)$（$t_s>t_m>t_e$），分别计算「直接一步」和「组合两步」到达同一终点 $t_e$ 的结果：

$$x_{t_e}^{(1)}=\Psi_\theta^{t_s\to t_e}(x_{t_s}),\qquad x_{t_e}^{(2)}=\Psi_\theta^{t_m\to t_e}\big(\Psi_\theta^{t_s\to t_m}(x_{t_s})\big)$$

自洽损失惩罚两个终点之间的差异：

$$\mathcal{L}_{SC}=\mathbb{E}\big[d(x_{t_e}^{(1)},x_{t_e}^{(2)})\big],\quad d(a,b)=\|a-b\|_2^2$$

训练时在较密的网格 $\mathcal{T}_{train}$（如 8 个点）上采样 $t_m$，而把 $t_e$ 锚定在实际推理用的 K 步网格 $\mathcal{T}^{(K)}$ 上，确保约束直接作用在测试时真正用到的终点。最终训练目标是 DMD 损失与自洽损失的加权和：

$$\min_\theta \mathcal{L}_{DMD}(\theta;\psi)+\lambda_{SC}\mathcal{L}_{SC}(\theta)$$

这个正则只需要在 $t_m$ 处多做一次前向传播，额外开销很小，但能显式把学生各个单步算子耦合成更连贯的多步轨迹。

为什么用正则而不是把一致性当主损失

论文特别区分了 SC-DMD 和 shortcut models、连续时间流映射蒸馏（如 AYF）的关系：后两者都把「组合一致性」当成唯一或主要的训练信号，这本质上退化为一种回归损失，在视频这种多模态未来场景下容易重新引入「模式平均」问题（即过平滑、动作保守）。SC-DMD 的关键设计是保留 DMD 作为分布对齐与单步锐利度的主驱动力，只把半群缺陷惩罚作为一个补充的结构性偏置项加在上面——这样既获得了组合稳定性，又不牺牲 DMD 本身「保锐利、避免均值化」的优势，这是论文认为效果好于单纯堆一致性损失的核心原因。

缓存感知混合步数训练

在自回归场景下，每个新生成的视频块都依赖之前生成块所产生的 KV 缓存，而缓存质量又取决于之前 rollout 用了多少去噪步数：步数越多缓存越干净，步数越少缓存越噪。若训练时固定步数，模型只见过单一质量的缓存，在推理时遇到不同质量的缓存就会失配。论文的做法是训练时对每次迭代随机采样步数 $K\in\{2,4,8\}$ 并做对应的分块自回归 rollout，让生成器和判别器都见过不同保真度 rollout 产生的各种缓存模式；同时只在 $K=8$（组合链最长、最容易出现不一致）时才激活 SC-DMD 的半群缺陷正则，把计算花在最需要的地方。

缓存条件下的特征关系对齐

对于 $K\in\{2,4\}$ 的低步数 rollout，论文用下一档更密的步数（2→4、4→8）构造一个「参考分支」，把两条分支在某个噪声层 $t_f$ 抽取的中间特征 $z_{low}, z_{ref}\in\mathbb{R}^{F\times S\times D}$ 做 L2 归一化后，在每一帧内计算空间 token 的关系矩阵：

$$R^{low}_f=\bar z^{low}_f(\bar z^{low}_f)^\top,\qquad R^{ref}_f=\bar z^{ref}_f(\bar z^{ref}_f)^\top$$

再用一个带松弛边界的 hinge 损失惩罚两个关系矩阵的差距：

$$\mathcal{L}_{align}=\frac{1}{F}\sum_{f=1}^{F}\frac{1}{S^2}\sum_{i=1}^{S}\sum_{j=1}^{S}\big[R^{low}_f(i,j)-R^{ref}_f(i,j)-\delta\big]_+$$

其中 $[\cdot]_+=\max(\cdot,0)$，$\delta$ 是容忍小偏差的边界超参数。这个损失把更高步数、质量更好分支里的空间关系结构「传给」低步数分支，而不强求逐元素相同，从而在推理只用极低步数时仍能保留更丰富的结构信息。最终自回归训练的完整目标为：

$$\min_\theta \mathcal{L}_{DMD}(\theta;\psi)+\lambda_{SC}\mathcal{L}_{SC}(\theta)\mathbb{1}[K=8]+\lambda_{align}\mathcal{L}_{align}(\theta)\mathbb{1}[K\in\{2,4\}]$$

小结

Salt 的关键在于把「分布匹配保锐利」和「半群律保组合一致」两者解耦成主损失 + 轻量正则，再通过混合步数训练把这套正则机制自然延伸到自回归场景下的 KV 缓存质量差异问题上。

实验涵盖非自回归（Wan 2.1 I2V 14B、T2V 1.3B）和自回归（Self Forcing、LongLive、Causal Forcing）两类，用 VBench/VBench-I2V 做 5 秒评测，加 VBench-Long 30 秒长视频评测。SC-DMD 在几乎所有主干和步数下都优于基线。

关键数据

该工作填补了 DMD 类视频蒸馏方法在「多步组合一致性」上的空白，把 shortcut models、flow-map 蒸馏中的半群一致性思想引入分布匹配框架，作为正则项而非主损失，避免了纯轨迹式方法的模式平均问题。其缓存感知训练思路为后续自回归实时视频生成系统的进一步蒸馏提供了通用范式。

局限与不足

论文自身也指出一些局限：SC-DMD 在非自回归设置下虽然提升了时序一致性和成像质量，但部分设置下 Dynamic Degree（动态幅度）会相对 DMD 下降（如 Wan 2.1 14B I2V 上从 58.46 降到 52.85），说明自洽正则在抑制漂移的同时也可能略微抑制了运动幅度，需要额外的对抗变体（Ours-α）来补偿；在自回归场景下，消融实验显示单独加 SC 损失（naive LSC）反而会让基线掉点（Causal Forcing 4-NFE Total 从 84.62 降到 83.83），说明该正则必须和混合步数训练配合才能生效，方法各组件之间存在较强的耦合依赖，调参和生效条件不够鲁棒；30 秒长视频评测中部分维度（如 Causal Forcing 的 Motion Smoothness 从 97.67 降到 54.02、Dynamic Degree 也有波动）出现明显下降，说明长时域 rollout 下方法的收益并不是在所有维度上都稳定，仍可能存在特定失败模式；此外论文方法仍依赖教师模型与分布匹配框架本身的质量，若教师分布本身有偏差，正则项并不能纠正这种偏差，只能约束组合一致性。