为什么值得读
做推理调度的人常把 decode length predictor 的准确率当成模型能力指标，这篇说明它更大程度是任务与配置的函数。对要落地 speculative/批调度的人来说，这是一篇能帮你省掉无效调参的负结果论文。
现象：换个模型或采样参数，准确率就崩
用 prefill 阶段隐状态预测「这次会解码多少 token」是推理调度的关键原语。作者观察到：目标模型、数据集或采样配置一变，已发表方法报告的准确率就大幅下降，而预测器本身没有改。
也就是说，现有 benchmark 把「预测器质量」和「任务难度」混在了一起——这是评测口径问题，不是模型退化。
归因：把解码看成一个停时随机过程
作者把根因指向一个长期被忽略的误差源：自回归解码的固有随机性。解码可建模为停时随机过程；单步停止概率并非常数，而是在数百步内逐步抬升，因此解码长度继承了来自大量局部决策的中心极限定理。
由此得到逐 prompt 的近似正态性与显式误差项，以及仿射方差律 σ=αμ+b，其中斜率等于「回答分段数的变异系数」。这些是可检验的推论，不是修辞。
验证：正态律复现 MAE 与分布主质量，残差也可预测
经验上，该正态律把逐 prompt MAE 与解码长度分布的主质量复现到几个百分点以内；偏离正态的部分（轻微右偏、略微超峰）恰好是采样噪声修正所预测的方向。
更关键的实验：在固定模型、数据与采样条件后，MLP / EGTP / FiLM / soft-label / MoE 等多种预测器设计收敛到接近该界的相似性能——说明「系统误差主导模型误差」，继续在预测器结构上刷点收益有限。
可执行建议
论文主张评测协议应固定模型、数据与采样参数，并同时报告相对误差指标与绝对指标，否则跨论文比较没有意义。
代码与分析工具已开源（github.com/ShwStone/DecodingPredict），属于本批次里落地成本最低的一篇：可以先在自己的服务上跑一遍它的误差界，判断还剩多少优化空间，再决定要不要继续投入预测器。
结论基于理论推导 + 作者自有实验，本站未复现；正态近似在极短/极长回答上的偏离程度需按业务分布自查；σ=αμ+b 的系数需在自有模型上重新拟合；预测器对比限于论文选取的设计空间，不代表所有架构。
本文基于论文原文摘要与方法章节整理，观点由编辑撰写；如与原文有出入，以 arXiv 原文为准。 内容为信息整理与技术评论，不构成投资或决策建议。 发现错误请通过站内纠错页提交（记录可查），修订记录只增不删。