为什么值得读
长程 Agent 训练最缺的不是算力而是信号。这篇用「存档→分支→回放到未来」的方式把延迟反馈变成可测标签，并量化了「用过程中间指标当奖励」的具体危害——对做 agent RL 和环境设计的人都直接可用。
问题：稀疏终局奖励 + 会骗人的中间分数
训练语言模型玩长程策略游戏有两个难点：确定性反馈稀疏，往往只在游戏结束时出现；而游戏内分数虽然稠密，却不稳定预示最终结果。
论文把这个不稳定性量化了：在八款策略游戏的局面配对中，有 8%–68% 的配对出现「分数更高的一方位次最终更差」，作者命名为 scoreboard traps（比分牌陷阱）。这意味着直接用当前分数做稠密奖励，会在相当比例的样本上给出反向梯度。
工具：CivHarness 把「未来」变成可测量对象
Freeciv 是开源的回合制帝国建设游戏，多名玩家在数百回合里管理单位、城市与外交，天然是长程环境。作者构建 CivHarness：保存当前游戏状态、在不同决策处分叉、回放到未来回合，从而对任意存档位置给出可测量的长程反馈。
关键点是「可回放」——奖励不再依赖一次性的游戏结局，而是可以对同一状态做多次分支对照，这让稠密奖励有了可核对的标签来源。基于此训练 CivTelescope，一个预测「两个局面中哪个最终结果更好」的 LLM Judge。
结果：Judge 在陷阱样本上更准，奖励接入后训练收益 +77%
在比分牌陷阱配对上，CivTelescope 的准确率是现成语言模型的 1.3–2.0 倍，并且能泛化到新的开局、更晚的回合和未见过的规则。
把 CivTelescope 当稠密奖励来训练 Freeciv Agent，这套配方叫 CivMarshmallow。在陷阱高发的中期，平均训练阶段收益提升 8.94 分，比最好的基线（终局奖励）高 77%；在完整 120 回合里，采用「前期用比分牌或终局奖励、随进程逐步切换到 CivTelescope」的混合奖励，在对比中得分最高。
对非游戏场景的迁移价值
「中间指标与最终目标不一致」在工程里到处都是：用编译通过率、单测数、检索命中率当 agent 的过程奖励，都会遇到同构的陷阱。论文给出的方法学是三步——先量化不一致率，再构建可回放的分支对照，最后训一个判别器替代原始指标。
混合奖励的思路同样可迁移：早期用便宜可靠的代理信号，后期切换到更贵但更贴近目标的信号，而不是全程只用一种。
本站仅据 arXiv 摘要页（E1）整理，未复现；结论限于 Freeciv 与所测八款策略游戏，其他长程任务（软件工程、机器人）不自动成立；回放分支的计算成本摘要未量化，工程上可能成为瓶颈；1.3–2.0 倍准确率是对比现成模型，不是与专用奖励模型对比；摘要页检索未发现代码仓库链接。
本文基于论文原文摘要与方法章节整理，观点由编辑撰写；如与原文有出入，以 arXiv 原文为准。 内容为信息整理与技术评论，不构成投资或决策建议。 发现错误请通过站内纠错页提交（记录可查），修订记录只增不删。