为什么值得读
「这条训练数据对模型输出到底负多大责任」是数据清洗、版权争议、模型调试的共同底层问题。这个领域的评测长期混杂多个变量，CATT 第一次把变量一个个拆开，还顺手给出了两个几乎零成本的修复。
为什么需要一个受控基准
现有数据归因评测大多依赖事实检索这类下游任务，而且一次变动好几个数据集属性，导致你永远说不清一个归因算法到底是在哪一步失败的。
CATT（Controlled Attribution Benchmark）的做法：在完全虚构的知识上微调 LLM，每条「事实」的来源文档是确定的、无歧义的，归因就有了 ground truth；然后每次只改变一个配置——文档冗余度、词汇干扰项等——做干净的单变量实验。
发现：证据是局部的，评测是平均的
两个稳定结论：冗余和干扰词会一致地降低归因质量；而训练文档里真正的因果证据高度集中在少数 token 上。
问题出在常规流程：用交叉熵损失算梯度，再把 per-token 归因分数对整篇文档取平均——恰恰把关键的局部证据稀释成了噪声。
两个几乎免费的修复
修复一：把交叉熵梯度换成负对数几率（negative log-odds）梯度，关键 token 会从无信息 token 中浮现出来。
修复二：只聚合分数最高的那批 token 作为文档分数，而不是全文档平均。
两者叠加，在诊断基准上把多个基线方法的真值召回提升了 35 到 72 个百分点；负对数几率修正还能迁移到 FTRACE-TREX 上，让作者测试的每一种归因方法的反事实重训性能最高提升 4.9 倍。
谁该关注
做数据清洗和数据集审计的团队：你的归因工具可能一直被「平均」拖累，这两个修复值得立刻试。
做模型解释与合规的团队：涉及训练数据使用的举证（版权、隐私、事故回溯），归因质量的系统性偏差会直接影响结论可信度。
聚焦事实追踪场景，虚构知识设定与现实训练分布有差距；论文刻意不提出新估计器，各方法在不同配置下的最优组合仍需自行调参；更长序列、多轮上下文的归因未覆盖。
本文基于论文原文摘要与方法章节整理，观点由编辑撰写；如与原文有出入，以 arXiv 原文为准。 发现错误欢迎 邮件指正。