为什么值得读
OPSD（on-policy 自蒸馏）是推理后训练的热门路线：学生自己采样，老师带着特权参考答案打分。但「老师该看多少参考」一直是全局固定、最多按回答自适应。这篇把一个很小但很实在的自由度打开了，且代价只是训练侧的额外打分开销。
现状：教师的参考暴露是粗粒度的
已有 OPSD 做法分两类：要么整轮训练都用完整参考答案喂老师，要么在每条回答内部做部分暴露——但每条回答仍然共享一个暴露程度。
作者的论点是这两类都不够：教师在同一个回答的不同 token 上，偏好可能不同。前半段推理也许需要完整参考来约束，某个中间步骤反而需要「少看一点」以免把答案直接抄进梯度。
先验证，再设计：教师干预实验
作者先做教师干预的试点研究：在同一位置替换教师所见的参考量，观察偏好是否稳定不同。结论是存在的——教师偏好确实逐 token 变化。
随后给出可操作的判据：用多数投票和基于 KL 的选择，可以为每个 token 找出「偏好教师」。这一步把「每 token 一个老师」从直觉变成了可计算的标签。
方法：多教师池 + token 级选择
构建多教师池：候选教师对应不同的参考暴露程度，池子本身就是「同一学生、不同特权信息」的若干副本。
训练时每个 token 按上述判据挑老师，用被选中教师的分布做 on-policy 蒸馏目标。作者称这是第一个 token 级自适应的 OPSD 方法。
结果与可复用性
Qwen3 系列在数学推理任务上，MTA-OPSD 一致优于现有 OPSD 做法，相对基线平均增益最高 +5.9。
代码已开源，属于可以直接复现实验的那类工作——对后训练团队来说，这是今天这批里落地成本最低的一篇。
仅数学推理任务与 Qwen3 系列，未验证通用对话、代码、多语言场景；教师池规模与选择超参的具体取值未在摘要中展开；token 级选择带来额外前向与打分开销，摘要未报吞吐代价；+5.9 是「最高」平均增益，实际收益需在自有数据上复核。
本文基于论文原文摘要与方法章节整理，观点由编辑撰写；如与原文有出入，以 arXiv 原文为准。 内容为信息整理与技术评论，不构成投资或决策建议。 发现错误请通过站内纠错页提交（记录可查），修订记录只增不删。