为什么值得读
难推理题上 RLVR 的常见死局是「一组 rollout 全错 → 组内奖励无差异 → 梯度为零」。这篇把问题拆成两件事：让学生能走到有奖励的轨迹上（trajectory 级干预），以及让学生知道每一步该如何改（token 级监督），并给出「两件都要」的受控实验证据。
现状：稀疏奖励下的两种补救，各自不够
RLVR 只用结果级可验证奖励，难题上组内全错时优势估计退化为零。已有两类补救：一类是换更强的教师/用蒸馏提供密集信号，另一类是重置或引导采样提高遇到正确轨迹的概率。
作者用受控实验把两者分开检验：只做轨迹级干预能提高命中率，但学生缺少逐 token 的修正目标；只做 token 级监督则受限于学生自己采样不到关键轨迹。任一单独使用都不足——这是论文的方法论前提。
方法：把教师纠错塞进 rollout，再对纠错段做 KL
PIVOT 在学生 rollout 的特定位置插入教师生成的纠正片段，形成混合轨迹；训练目标 = 原 RLVR 奖励项 + 纠错片段上的 token 级 KL 监督。这样既拿到了带奖励的轨迹，又给这些轨迹提供了密集监督信号。
论文进一步系统扫了两个设计维度：在哪里插入纠正（干预位置），以及如何施加监督（监督形式），并据此给出一份可操作的配置配方，而不是只报一个最终数字。
结果：难任务上的增益集中体现在「原本全错」的样本
在困难逻辑游戏与数学推理基准上，PIVOT 一致优于已有方法；逻辑游戏的平均 avg@8 从最优基线 19.5% 提升到 35.6%（接近翻倍）。
这类方法的收益来源是「把零梯度样本变成有梯度样本」，因此对已接近饱和的简单任务预期收益有限——这一点与摘要中强调的「难推理任务」定位是吻合的。
可复用性
论文 19 页、9 图 6 表，另附项目页；摘要页未标注开源代码仓库，复现需等作者放出实现或按论文细节自行搭建。
工程上的关键成本在教师侧：需要一条更强的模型做在线纠错，额外前向与打分开销摘要未给吞吐数据，接入前应自行测。
仅验证逻辑游戏与数学推理，未覆盖通用对话、代码、多语言；教师模型能力是隐含前提，弱教师下效果未知；在线教师纠错带来额外推理成本，摘要未报吞吐代价；摘要页无代码链接，复现依赖作者后续放出。
本文基于论文原文摘要与方法章节整理，观点由编辑撰写；如与原文有出入，以 arXiv 原文为准。 内容为信息整理与技术评论，不构成投资或决策建议。 发现错误请通过站内纠错页提交（记录可查），修订记录只增不删。