把物理定律偷偷改掉，LLM 能自己发现吗？12 个模型里 11 个交了白卷

为什么值得读

科学发现的第一步不是解题，而是「注意到不对劲」。这个基准把「好奇心」变成了可测量的指标，也顺手给当前模型的能力边界画了一条很清楚的线。

问题：给题会做，不给题就不会看

现有科学推理基准基本都是「给你数据，求规律」。但真实的发现过程是先观察到反常（重的东西反而落得更慢），再自己设计实验去验证。这两件事差别巨大。

作者想测的正是后者：不告诉模型要研究什么，看它能不能自己发现世界被改过。

方法：一个闭环的多智能体「实验室」

LongChang 框架构造出物理定律被改写的模拟世界（一条或多条定律与常识不同）。被测 LLM 扮演探索者，可以操纵物体、造工具、自己提问题。

外围由多个 LLM 智能体分工：生成与审核场景、审核工具设计、依据被改写的物理定律与探索日志评估报告的正确性和实验支撑度。探索记录还会反过来驱动场景演化，整个循环无需人工介入。

这样测的就不是「模型知不知道答案」，而是「它会不会自己去找问题」。

结果：16.7% 与一片零

12 个模型里，GPT-6-Astra 的发现率是 16.7%，其余 11 个均为 0%。

更值得读的是探索日志：模型们确实遇到了反常现象，但大量异常没有被追查下去；即使有报告，对改写后定律的识别也只是部分的。也就是说，障碍不在「看不见」，而在「看见之后不追问」。

为什么这条对 AI for Science 很关键

今天的模型在「有明确目标的实验优化」上已经很强，但在「无目标的好奇驱动探索」上几乎空白。而后者恰恰是基础研究里最稀缺的能力。

对做科研 Agent 的团队，优先级应该是：异常检测与显著性判断 → 自主实验设计 → 结论的可证伪性表达。跳过第一步直接做「自动写论文」，产出的一定是漂亮的空话。

本文基于论文原文摘要与方法章节整理，观点由编辑撰写；如与原文有出入，以 arXiv 原文为准。 发现错误欢迎 邮件指正。