多个 AI 智能体同时读长文，就像一群人一起挤进同一扇门：回答还没开始，GPU 已被“读材料”这一步占满。这个阶段叫预填充（prefill）——模型先通读输入，并建立后续生成要用的内部缓存。论文提出 CACPU，把其中的因果注意力计算交给 CPU，给拥堵的 GPU 分流。
它最关键的设计不是单纯“多开线程”，而是同时管好数据和任务。CACPU 按 CPU 的 L2、L3 缓存容量切分数据，让刚取来的内容尽量在高速缓存里被充分复用，少去较慢的内存反复搬运；再用共享任务队列优先派发计算量大的块，避免有些线程忙碌、有些线程空等。论文的消融实验还发现，只做缓存优化，在异构核心 CPU 上反而会拖慢，必须与负载均衡配合才有效。
作者报告，CACPU 相比 PyTorch SDPA、FlexAttention 和 SGLang 的注意力内核最高快 2.01 倍；接入 SGLang 后，Llama-3.1-8B 的首个词元等待时间最高缩短至原来的约 1/1.74，并保持模型准确性。这说明 CPU 不只是备用算力，也可能成为多智能体长上下文服务里现实的减压阀；不过这些效果目前来自论文作者自己的实验。