让 AI 连续处理几十步任务,早期一个看似不起眼的判断,就可能把后面的探索带向另一条路。这篇论文发现,常被当作加速工具的推测解码——小模型先起草若干 Token(模型生成文字的基本单位),大模型再成段验收——并非完全不影响长程推理:在一次验收的候选段里,越靠后的 Token,数值噪声越大。以 GLM-5.3 的 8-Token 验证窗口为例,作者测得噪声每往后一个位置约增加 4%。
团队于是反过来训练草稿模型:在关键决策处故意提出大模型不愿接受的候选。候选被拒后,大模型会从新验证窗口的第一个、噪声较低的位置重新生成,相当于把更清晰的“记忆位置”留给真正影响后续路线的判断,而日常文字仍照常加速。作者报告,在软件工程智能体基准 DeepSWE 上,GLM-5.3-nvfp4 的端到端成功率从 60.6%升至 67.6%,且无需修改主模型。它的意义不只在提速:草稿模型开始主动安排哪些岔路值得更认真地走。