让本地 AI 先读一篇长文再回答，最直观的等待往往发生在它“开口”之前。llama.cpp——用于本地、跨平台运行大模型的开源推理引擎——这次继续压缩这段等待：新改动为 Qwen 模型加入 GDN 分块内核。GDN 是模型边读序列边更新压缩状态的一类结构；分块内核则把输入分段交给显卡计算，争取更充分地利用硬件。
提交者给出的测试中，RTX PRO 6000 Blackwell 运行 Qwen3.5-35B-A3B-Q8_0、处理 2048 个提示词元时，速度从每秒 13,653.58 个词元升至 16,459.56 个，提升 20.6%；输入增至 4096 个词元时提升 17.8%。RTX 5090 上同系列模型提升 16.4% 至 17.9%，但其他模型和显卡的增幅多在 0.9% 至 6.9%，说明收益明显依赖具体组合。
本刊10月9日曾报道，llama.cpp通过重排 CUDA 线程分工，让 Qwen 的 GDN 预填充最高提速约5.5%。这次不是模型能力升级，而是同一底层优化路线的新实现，并在 Blackwell 测试中把上限进一步推高；上述结果来自该 Pull Request 的自报测试。