离散扩散蒸馏的第三条路：双向中心化分数匹配（BCSM），把成对比较从 O(|V|²) 压到 O(K)

为什么值得读

离散扩散蒸馏目前两条主流路各有短板：token-wise KL 数学上精确匹配积形式块分布，但它的概率空间优化几何与「只信教师候选截断」在几步蒸馏的极限压缩下给不出足够监督；CSM 换了角度（对齐相对 logit 几何）却背不动完整成对比较的开销。BCSM 的贡献主要是把第三条路做到可负担——活跃集选择 + 因子化，工程上这类 O(K) 化技巧对做蒸馏的人有直接参考价值。跨时间步转移对齐是另一个超出损失函数本身的补丁。

问题：两条既有蒸馏路在极限压缩下的监督缺口

并行解码的离散扩散模型常用 token-wise KL 蒸馏。它虽然精确匹配积形式的块分布，但其概率空间优化几何与仅以教师候选做截断，在激进少步蒸馏下可能监督不足。

Concrete Score Matching（CSM）提供位置内目标（对齐相对 logit 几何），但完整成对形式是 O(|V|²) 复杂度。

方法：活跃集 + 因子化 + 跨时间步对齐

BCSM 构造 O(K) 的双向活跃集，先把成对比较降到 O(K²)，再因子化为 O(K) 的目标函数。

另引入跨时间步转移对齐（cross-timestep transition alignment），约束不只在单步分布上。

结果：单步推理下的质量–效率权衡

最高 6× NFE 缩减；单步推理下 HumanEval 相对提升 16.9%、MMMU 相对提升 15.1%（均为相对值，摘要未给绝对分数与基线细节）。

边界

「相对提升」的基线模型与蒸馏配置摘要未列出，跨论文比较需读全文；实验覆盖的任务类型（代码 HumanEval / 多模态 MMMU）之外的表现未报告。

本文基于论文原文摘要与方法章节整理，观点由编辑撰写；如与原文有出入，以 arXiv 原文为准。 内容为信息整理与技术评论，不构成投资或决策建议。 发现错误请通过站内纠错页提交（记录可查），修订记录只增不删。