让本地 AI 读更长的材料,难点不只在模型大小:它还要留出一块不断扩张的“草稿纸”。这就是 KV 缓存——保存模型读过的 token(文本片段)所产生的中间结果,免得每生成一步都从头计算。Telperion 发布的 Qwen3.8-27B-MLA 与 Qwen3.8-27B-GLA-g2,瞄准的正是这块显存开销。
MLA(Multi-head Latent Attention)先把注意力信息压进较小的潜在表示;GLA(Gated Linear Attention)则用带门控的压缩状态逐步汇总内容。作者称,在按 FP8 KV 缓存校准后,两款模型单卡都能把缓存压缩至四分之一,理论上可换来接近四倍的最长上下文或服务器并发量。双卡时,MLA 的压缩倍率降至 2.28 倍,而专为分组设计的 GLA-g2 仍为 4 倍。
效果并非只看省显存。作者报告,MLA 在零样本、无工具、超过1500项测试的 SWE-bench Verified 上从原版39.5%升至42.1%,平均输出 token 减至0.88倍;GLA-g2为39.4%和0.86倍。不过这些数字目前来自发布者在 Reddit 公布的实验,完整基准仍待后续版本补齐。