为什么值得读
Agent 训练最大的瓶颈已经从算力变成「有工具、有状态、可验证」的环境数据。这篇是目前少见的、把环境合成当成预训练数据配比来系统研究的论文。
问题:任务多不等于环境丰富
训练会调工具的 Agent,需要有真实接口、真实数据、真实失败模式的环境。人工造环境太贵,于是大家都在合成,但合成往往是「一个环境批量刷任务」——任务数上去了,工具和数据库的分布其实没变。
结果就是模型在训练分布里分数很高,换个 API 形态就崩。到底该往哪个方向加预算,此前没有可预测的答案。
方法:把环境拆成三个可独立放大的旋钮
作者提出 SynthAPI 流水线,把合成环境的多样性显式拆成三条轴:工具(API 的种类与形态)、任务(要完成什么)、数据库(工具操作的数据长什么样)。三条轴可以独立调节,于是可以干净地做「只扩一条轴」的对照实验。
规模上相当硬:458,752 个任务、849 个训练出来的模型、四种模型尺寸,然后在下游基准上测泛化。
发现:一条能预测泛化的曲线,和三个反直觉结论
第一,泛化能力可以被环境规模与组成预测,这说明 Agent 训练正在变成一门有配方可言的工程,而不是碰运气。
第二,当数据预算增长时,扩工具多样性和数据库多样性比增加任务数量更有效——这与「多刷点题」的直觉相反。
第三,提高数据复杂度带来的增益比单纯扩量更大。按这套结论扩出来的 Agent,在四个评测基准上超过了此前大规模工具 Agent 与合成环境工作的训练结果。
可迁移的经验
如果你在做企业内部的 Agent,这条定律的直接含义是:与其把 100 个业务问题各造 1000 条样本,不如把 100 个工具、几十套数据 schema 造扎实,再让任务自然生长。
它也解释了为什么很多 Agent demo 惊艳、上线拉胯:训练时的环境多样性远小于真实世界的工具与数据分布。
结论建立在 SynthAPI 这一套合成器上,换一种环境生成方式(比如真实企业 API 日志)是否保持同样的指数关系还需验证;论文评估的是「工具调用正确率」类指标,对长程任务的稳定性、成本效率没有展开。
本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 发现错误欢迎 邮件指正。