首页开源项目论文解读归档收藏关于译匠
首页/ 论文解读/ 2611.04277

Harness-S:不找万能执行框架,用「兄弟框架」救失败再把能力并回单一策略

Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training

核心贡献 / TL;DR

针对 agent 执行框架(harness)演化中的局部性、互补性与非平稳性,Harness-S 沿不同修复方向训练专用的「兄弟框架」组成固定池,只在基座框架全部初始尝试失败时调用它们重采轨迹做强化学习,并用多 LLM 投票的行为档案路由 Top-k 框架;在 AppWorld、SWE-Gym、DBBench 上,回到原基座框架时显著超过纯策略训练,复用路由做 Rank-1 推理还有额外增益。

✓ 值得精读 最小体检 译匠 · 2026-11-04 复核

针对 agent 执行框架(harness)演化中的局部性、互补性与非平稳性,Harness-S 沿不同修复方向训练专用的「兄弟框架」组成固定池,只在基座框架全部初始尝试失败时调用

红线检查:作者已提供代码仓库;本站最小体检未实测复现,此红线未命中。

  • 核心结论与数字以摘要页原文为准:针对 agent 执行框架(harness)演化中的局部性、互补性与非平稳性,Harness-S 沿不同修复方向训练专用 E1 来源 ↗
  • 方法与实验细节以 PDF 全文为准 E1 来源 ↗
  • 作者提供开源代码仓库 E1 来源 ↗

最小体检 = 结论条 + 3 条 E1 证据 + 1 条红线判定;完整五维评估待 S1。 判定规则与纠错 →

为什么值得读

agent 训练有个现实矛盾:换更好的执行框架能解锁更多可学习轨迹,但部署时往往只能用原框架,训练与部署环境不一致会让收益打折。这篇的思路是把兄弟框架当训练期的「救生艇」——只在失败组上启用、用完即弃,能力最终并回在原框架下仍有效的单一策略里。路由用行为档案 + 多 LLM 投票、且随策略学习动态再锚定,这三个设计都指向同一个问题:框架的价值会随策略变强而漂移,静态选择必然过期。

问题:框架演化有三个性质,万能框架不存在

论文把从同一基座演化出的多个 harness 变体概括为三条性质:局部性(各自修复不同的失败)、互补性(修复方向互不重叠)、非平稳性(对策略的效用随训练推进而变化)。

由此推出:追求一个「普遍更优」的 harness 是错的目标,应该让框架池各管一摊失败模式。

方法:定向演化、按需救援、动态路由

Directional Harness Evolution 沿不同修复方向训练专用兄弟框架,形成在策略训练期间保持固定的 Sibling Harness Pool。

Complementary Harness Rescue Training 只在基座框架下全部初始尝试都失败时才调用该池:同一策略在被选中的辅助框架下重新 rollout,这些新轨迹替换掉失败组进入强化学习。

Adaptive Harness Router 用 Harness Behavior Profiles 加多 LLM 投票选 Top-k 变体;policy-aware profile re-anchoring 会在策略学习过程中刷新这些档案,回应非平稳性。

结果:能力真的并回了策略本身

在 AppWorld、SWE-Gym、DBBench 三个环境上,训练后的策略回到原基座框架时显著超过纯策略训练(policy-only);行为分析与 held-out 案例支持「框架诱发的行为已迁移进策略」这一解释。

推理阶段复用同一个路由做 Rank-1 选择,在 executor rollout 数相同的前提下带来额外增益。

边界

三个环境的评测由论文自身实验支撑,本站未复现;「显著超过」的显著性检验方式摘要未展开。

兄弟框架池需要预先沿不同修复方向演化并维护,这一前置成本在实际团队中的规模未在摘要中量化。

局限与存疑

本站仅据 arXiv 摘要页(E1)整理,未复现。代码链接来自 arXiv 官方 comment 字段(github.com/DeepExperience/Harness-S),本站沙箱网络在快照日无法直连 GitHub 验证仓库内容,读者请以仓库实际状态为准。「显著超过」的统计口径见 PDF 全文。

标签:Agent强化学习训练框架泛化

本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 内容为信息整理与技术评论,不构成投资或决策建议。 发现错误请通过站内纠错页提交(记录可查),修订记录只增不删。