让 AI 连续办一件复杂的事,就像让人一边工作一边保存所有聊天和操作记录:时间越久,笔记越厚,查找和存放都更费力。ASTC 的思路是,把模型已经“消化”的历史压成软Token——人读不懂、但模型能继续使用的内部数字表示,从而不必反复翻阅全部原文。
它最巧的一点,是没有一刀切地压缩。路径、标识符和数字等必须逐字准确的信息,仍保留为普通文本Token;解释、代码和重复观察中已被模型吸收的部分,则转成软Token。系统利用模型自身的循环状态判断哪些信息已经记住,因此不需要重新训练。压短后的序列还能缩小KV缓存——模型为避免重复处理前文而保存的中间计算笔记。
作者称,在多项长任务中,ASTC让任务质量接近或超过未压缩模型,同时最多减少50.68%的端到端注意力配对计算。不过,这套方法建立在混合GDN—attention模型的原生循环机制上,能否同样适用于其他模型架构,仍需更多验证。