让 AI 一次读完几百万个 token（模型处理文字的基本单位），就像让人翻一本极厚的资料：查得越细，耗时和占用的“工作台”越大。这项开源研究尝试给注意力机制做减法——注意力是模型从上下文中查找相关内容的方式；团队用稀疏注意力只计算部分位置之间的关联，希望让超长文本处理更便宜。
团队自述，Qwen 3.8 27B 的注意力经过稀疏化后，实验中没有观察到准确率损失；仅用“预测下一个 token”这一常规训练目标，也能达到完整注意力相同的验证损失，同时速度更快。最值得留意的边界是：上下文扩至 1000 万 token 后，一些特定任务仍会掉准确率，但 NIAH——在长文里藏一条信息再让模型找回的“干草堆里找针”测试——大多仍表现正常。相关 kernels、SGLang 集成、论文与细节均已开放，但上述效果目前只有团队说法，仍要等待社区在不同任务和硬件上复现。