Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.092 — 2026-10-04
PAPER HF 98 约 1 分钟

KV压缩会周期性漏掉关键信息

同一条信息只因挪了几个位置,找回准确率就可能相差40个百分点。

同一句关键信息,在长文里前后挪几个位置,AI 可能就从“找得到”变成“找不到”。问题出在分块压缩:系统把 KV Cache——模型生成文字时保存的“阅读笔记”——按连续词块合并,以节省显存和计算,但信息落在块首、块中还是块尾,会影响它之后能否被找回。

作者把这种现象称为“相位敏感性”:固定步幅会让压缩边界周期性重复,于是薄弱位置也周期出现。在采用这类压缩的大型开放权重模型中,作者报告,不同相位的长上下文检索准确率最多相差40个百分点。他们还从头训练多组不同压缩设计的 Transformer,并通过因果干预发现,不同注意力组件会偏向处理不同相位的信息。

这项工作的工程提醒很直接:平均准确率可能看起来不错,却掩盖反复出现的位置低谷。评测 KV 缓存压缩时,不能只报总平均,还要把关键信息放到各个压缩相位分别测试。


供稿材料 SOURCES — 1

← 返回 2026-10-04 · 学术板块