为什么值得读
agent 训练有个现实矛盾:换更好的执行框架能解锁更多可学习轨迹,但部署时往往只能用原框架,训练与部署环境不一致会让收益打折。这篇的思路是把兄弟框架当训练期的「救生艇」——只在失败组上启用、用完即弃,能力最终并回在原框架下仍有效的单一策略里。路由用行为档案 + 多 LLM 投票、且随策略学习动态再锚定,这三个设计都指向同一个问题:框架的价值会随策略变强而漂移,静态选择必然过期。
问题:框架演化有三个性质,万能框架不存在
论文把从同一基座演化出的多个 harness 变体概括为三条性质:局部性(各自修复不同的失败)、互补性(修复方向互不重叠)、非平稳性(对策略的效用随训练推进而变化)。
由此推出:追求一个「普遍更优」的 harness 是错的目标,应该让框架池各管一摊失败模式。
方法:定向演化、按需救援、动态路由
Directional Harness Evolution 沿不同修复方向训练专用兄弟框架,形成在策略训练期间保持固定的 Sibling Harness Pool。
Complementary Harness Rescue Training 只在基座框架下全部初始尝试都失败时才调用该池:同一策略在被选中的辅助框架下重新 rollout,这些新轨迹替换掉失败组进入强化学习。
Adaptive Harness Router 用 Harness Behavior Profiles 加多 LLM 投票选 Top-k 变体;policy-aware profile re-anchoring 会在策略学习过程中刷新这些档案,回应非平稳性。
结果:能力真的并回了策略本身
在 AppWorld、SWE-Gym、DBBench 三个环境上,训练后的策略回到原基座框架时显著超过纯策略训练(policy-only);行为分析与 held-out 案例支持「框架诱发的行为已迁移进策略」这一解释。
推理阶段复用同一个路由做 Rank-1 选择,在 executor rollout 数相同的前提下带来额外增益。
边界
三个环境的评测由论文自身实验支撑,本站未复现;「显著超过」的显著性检验方式摘要未展开。
兄弟框架池需要预先沿不同修复方向演化并维护,这一前置成本在实际团队中的规模未在摘要中量化。
本站仅据 arXiv 摘要页(E1)整理,未复现。代码链接来自 arXiv 官方 comment 字段(github.com/DeepExperience/Harness-S),本站沙箱网络在快照日无法直连 GitHub 验证仓库内容,读者请以仓库实际状态为准。「显著超过」的统计口径见 PDF 全文。
本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 内容为信息整理与技术评论,不构成投资或决策建议。 发现错误请通过站内纠错页提交(记录可查),修订记录只增不删。