Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.103 — 2026-10-15
PAPER 约 1 分钟

KV缓存开始随负载变档

KV缓存会随实时负载自动“腾挪”,空闲时多留历史,繁忙时让出显存。

长对话一多,AI 往往不是算不动,而是“草稿纸”放不下。KV缓存——模型保存历史文字中间结果的速查笔记——会迅速占满GPU显存。过去的分层存储把部分历史放进主机内存,却通常给每个请求固定显存额度:低负载时浪费空间,高负载时又妨碍接入更多请求。

Adaptive DHiSparse 的关键,是让这笔预算随负载变档。空闲时,它把更多历史留在GPU;请求增多时,再回收这些可选内容,只保住必要工作集,缺失部分从主机内存精确取回。论文的负载切换实验中,低负载下需从主机取回的选中记录占比从14.2%降到1.4%,压力上升后则释放显存。

系统还支持投机解码——先由较省算力的模型拟出若干词,再交给主模型批量验证。作者报告,在100K上下文、并发128时,GLM-5.3配合DFlash2达到每张解码GPU每秒793个输出词元,是HiSparse的1.45倍。以上效果来自论文作者实验,尚未见独立复现。


供稿材料 SOURCES — 1

← 返回 2026-10-15 · 学术板块