把长文压缩给 AI 看，不能只留下最显眼的几句话：一些单看不起眼的信息，组合起来可能正好决定答案。稀疏注意力也有类似问题。它为了降低长文本的计算和内存开销，只保留少部分 Token——文字切分后的基本单位——之间的连接；但许多方法倾向于挑权重最大、最集中的区域。
这篇论文指出，注意力不是一袋可以逐个比较的数字，而是一张会与信息向量相乘的矩阵。换句话说，真正该保住的不是最大的单项，而是整张矩阵处理信息后的结果。作者据此提出 MASA（Matrix Approximation Sparse Attention）：用一个闭式评分，衡量每个候选区域能减少多少“矩阵乘积误差”，再决定保留谁。它可以接入现有稀疏注意力框架，不改变原有计算内核和预算。作者称，多种方法、基准和大模型上的实验均获得稳定准确率提升，但所给材料未披露具体增幅。