为什么值得读
AI for Science 的 Agent 演示常以「能跑通」为终点,这篇把评测拆成规格正确性、执行完成度、数值校验三层,并专门测「该问的时候是否问」。对做工具调用 Agent 评测的人,这套拆法比准确率单一指标有用得多。
问题:能跑完 ≠ 问题被正确表达
把工程需求变成一次仿真,需要同时对齐几何、物理、边界条件和数值设置。现有 agent 辅助系统能自动化配置流程,但「成功执行」并不能证明规格忠实于原始问题,也不能证明缺失信息被正确处理。
论文把这个问题正面提出:Agent 能否可靠地构造完整可执行的 JSON 规格,覆盖几何创建、网格划分、PDE 求解、结果导出四段?
方法:确定性检查 + 显式澄清 + 局部补丁
工作流由四部分组成:模型抽取、确定性的科学性与能力检查、显式澄清、以及经过校验的局部补丁(只改相关字段,保留其他已接受的字段)。
评测也分三层:规格正确性、执行完成度、数值验证,互不替代。这一点很关键——很多系统在「执行完成」上接近满分,但规格层已经偏了,只看执行率会完全看不出来。
结果:120 条模板请求 + 42 条该问就問 + 12 条真实测试
在 120 条与模板相关的请求上,全流程的首轮规格与决策正确率为 98.3%,对比 schema 辅助单轮 92.5%、纯模型 82.5%,分别高 5.8 与 15.8 个百分点。
更值得看的是 42 条需要澄清或拒绝的请求:论文报告零 false-ready 决策,即没有在该问的时候硬给一个「已就绪」。组件消融定位了科学性检查与条件修复各自的贡献。下游还覆盖 1D/2D/3D、稳态与非稳态、线性与非线性问题,包括带复杂三维机翼几何的流动与弹性;30 例画廊展示从保留的 JSON 规格自动执行,12 条选定的真实「需求→结果」测试中 9 条(75.0%)同时满足规格、执行、导出与数值参考。
诚实边界:论文自己指出的短板
作者明确把结论限定在「经过工程师复核的可追溯仿真辅助」范围内,而不是全自动替代。
他们还报告了 fresh-response 场景下的回归问题,并把一致性列为后续改进的首要项——换句话说,同一需求换一次生成,结果可能不同,这在生产里是硬伤。
本站仅据 arXiv 摘要页(E1)整理,未复现;120 条为模板相关请求,分布不代表真实工程需求的全谱;12 条真实测试样本量小(9/12=75%),置信区间宽;作者自述 fresh-response 存在一致性回归;摘要页检索未发现代码仓库链接,且未获取作者列表以外的复现材料。
本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 内容为信息整理与技术评论,不构成投资或决策建议。 发现错误请通过站内纠错页提交(记录可查),修订记录只增不删。