长对话越聊越慢，不一定是 AI“算不动”，也可能是“搬不动”。模型每生成一个新词，都要读取 KV 缓存——保存前文注意力中间结果的“速查笔记”。上下文越长，笔记越厚；个人设备的内存带宽像一根流量有限的水管，反复搬运便会成为瓶颈。
GAAC 的关键是不删内容，而是压缩写法。BF16——一种用 16 位保存数字的格式——包含符号、指数和尾数。作者观察到，约 95% 的指数值平均集中在连续 6 个数内，于是完整保留符号和尾数，只把指数写成“基准值加小偏移”；遇到超出范围的数据，就自动增加编码位数。解码后可逐位还原原始 KV，不会因近似压缩额外改变计算。注意力计算还会边读取边还原所需数据块，避免先把整份缓存解压回来。
据作者报告，GAAC 在五个受测模型上将 BF16 KV 缓存无损压缩至原来的约 1/1.405—1/1.407；在 NVIDIA DGX Spark 的 64K-token 上下文中，注意力解码加速 1.19—1.27 倍，在 Apple M4 上为 1.02—1.25 倍。它的意义很直接：用少量还原计算，换取更少的数据搬运，让个人设备上的长上下文推理更实用。