让手机上的小模型先替云端大模型打草稿,本可少等几轮计算;但如果每次都要把数万候选词的概率表传来传去,就像为交一句稿子附上整本词典,网络反而成了瓶颈。这篇论文提出 DISCO,专门压缩设备与服务器协同生成文本时的通信账单。
它沿用推测解码——小模型先写若干词,大模型一次核验——但在服务器端也放一份相同的小模型。遇到草稿被拒绝时,服务器自己重算所需的草稿概率,不再向设备索要整张词表。双方只交换词的编号和少量概率值。以论文的 OPT 设置为例,每轮上行数据由 DSD 的约 402.2 kB 降至 24 B;发生拒绝时,下行数据由 DSSD 的约 100.5 kB 降至 8 B。
作者称,这套做法仍遵守拒绝采样的严格概率规则,也就是不靠改变大模型原本的输出分布换取速度,并在低带宽环境下取得更高解码加速。不过,省下网络传输的代价,是服务器要额外保存并在拒绝时运行一份小模型。