让本地 AI 一次读进很长的文档，显卡不只要“装得下”，还得反复处理大量上下文。llama.cpp 的新 PR 正在为 AMD RDNA4 显卡调优 Flash Attention——一种通过分块计算、减少显存往返的注意力实现，目标是让长文本处理更快。
最亮眼的数据来自 AI PRO R9700：在 32K 上下文测试中，llama 8B Q8_0 于较大 microbatch（一次并行处理的数据块）下，吞吐从约 1065—1145 t/s 提至约 1588—1706 t/s，提升约 49%；qwen35 27B 在相近设置下最高提升 51%。不过收益并不普遍：小 microbatch 或其他模型有时持平，甚至下降约 3%—6%。这说明 AMD 消费级显卡仍有可挖的长上下文性能，但优化需要按模型和任务细调；目前数据来自 PR 作者及社区测试，改动仍在审查中。