让 AI 连续干几个小时的活，聊天记录、工具结果和中间决定会越堆越多。它每走一步，都得带着这摞材料继续生成。Belcak 等人指出，后段 Token——模型读写文字用的小片段——因此更慢、更占内存，也更贵；在其测试的前沿开源权重模型中，前后生成成本最高可相差 7 倍。固定的按量报价往往遮住了这种差异。
论文给出的思路不是继续扩大上下文窗口——模型一次能放进多少资料的“工作台”——而是频繁做上下文压缩：把冗长历史整理成更短的摘要或任务状态，只保留下一步需要的信息。作者称，在覆盖软件工程、信息检索和工具使用等长任务与长输入测试中，模型把上下文维持在较短范围，准确率几乎没有或完全没有下降；甚至每次压缩后最多只执行一个动作，软件工程任务表现也未崩溃。结论仍来自论文作者的实验，但它提醒我们：衡量智能体成本，不能只数一共生成多少 Token，还要看这些 Token 出现在任务的多后面。