让 AI 写一句话,通常要一个词一个词往后算。推测解码像是先让“小助手”草稿模型猜一串词,再交给大模型批量验收;猜得越准、连续通过得越多,生成就越快。问题是,训练这个小助手时,传统方案仍要按顺序完成“起草—验证”,监督数据来得不够快。
Qwen 提出的 SpecOPD 把这条训练链路改成并行试错:从参考文本的不同位置出发,让当前草稿模型同时生成多条独立分支,再由目标模型提供监督。它还把分支打包成“提议树”,共享前缀计算,避免相同开头反复重算。这属于 On-policy 蒸馏——用草稿模型当下真正会生成的内容训练它,使训练更贴近实际解码时的错误。
据作者披露,SpecOPD 在覆盖 8B、27B 和 125B 目标模型的实验中,监督词元吞吐最高达到顺序方案的 16.09 倍,平均接受长度最高提高 41.45%,相对逐词生成最高加速 3.56 倍。这些均为作者自述结果,但“并行收集更贴近实战的训练信号”这一思路,值得推理引擎开发者留意。