让 AI 连写几万字的解题过程，有点像让人一边写长卷，一边反复翻阅前面所有草稿。越写到后面，要翻的页数越多。直接少翻几页当然更快，但也可能漏掉关键条件，最后写出另一种答案。S³R 想解决的正是这个两难：减少长答案生成时搬运和读取历史信息的成本，同时不改变强化学习实际拿到的答案组。
这里的“回放”指 rollout，更准确地说是轨迹采样：训练时让当前模型完整生成一批解题过程和答案，评分后再据此更新模型，并不是从经验库里取旧数据。论文研究的是 RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习），即让模型解数学、代码等可以自动判定对错的题，再用结果训练。作者在其分析的工作负载中发现，attention（注意力，即模型生成新词时读取上下文的机制）占自回归解码 kernel 时间的 72%—76%。这个数字来自论文自己的特定配置，不能推广到所有长上下文强化学习。
少看历史，为什么不能直接拿来训练？
模型生成文字时会保存 KV Cache——可以把它理解为读长文时写下的中间笔记，免得每次都从头计算。答案越长，这叠笔记越厚，读取和搬运它们的成本也越高。
稀疏注意力提供了一个直观办法：生成新词时不查看全部历史词，只挑一小部分，好比只翻长文里最相关的段落。问题在于，少看的历史会改变模型下一步选词的概率。若直接从这个“稀疏版策略”采样，训练所见的答案就不再来自原来的完整策略。
这在 group-relative optimization（组相对优化）里尤其麻烦。此类方法会让模型针对同一道题生成一组答案，再根据组内其他答案的奖励，判断每条答案相对好不好。于是，一条答案的训练权重不仅取决于它自己，还取决于“同组队友”。
可以把它想成小组内排名。即使你精确修正了某位选手被抽中的概率，只要其他参赛者换了，名次和相对得分仍可能变化。论文据此证明：即使对每条 response（完整回答）做精确的逐条重加权，一般也无法恢复完整策略原本的期望更新。换句话说，偏差不是只发生在单条答案上，而是进入了整组答案之间的比较。
草稿可以稀疏，交卷必须完整
S³R（Self-Sparse Speculative Rollouts，自稀疏投机式轨迹采样）换了一个位置使用稀疏计算。它不让稀疏策略直接交卷，而只让它打草稿。
具体说，同一个 policy（正在训练的策略模型）先用稀疏注意力快速提出一段候选 token——token 是模型处理文字的基本单位，可以是字、词或词的一部分。随后，模型用 full-attention verification（完整注意力验证）一次检查这段草稿，并通过 exact speculative sampling（精确投机采样）决定哪些候选可以接受；遇到不合适的候选，就按校正后的概率重新采样。
关键点不在于草稿每次都猜对，而在于验收程序会把最终结果校正回完整策略的分布。按照论文给出的条件，各条回答独立生成后，整组 response 的分布与普通完整注意力自回归生成一致。因此，稀疏预算改变的是生成成本，不是交给训练器的样本来源。
S³R 也不需要另养一个专门的草稿模型。起草和验证共享同一套 policy 参数。RLVR 会持续更新策略；独立且固定的 drafter（草稿模型）可能逐渐跟不上，而共享权重让草稿端随当前策略同步。稀疏近似仍会影响草稿接受率，但省去了单独训练和维护 drafter 的工作。
真正难搬的，还是那叠完整笔记
稀疏起草减少了 KV Cache 的读取，却没有让完整历史消失。验证环节仍需要完整的历史 KV Cache，而且要用完整注意力重新计算候选块的状态。显存紧张时，系统会把缓存转移到 CPU，之后再恢复；若同一批缓存反复进出，就会出现 cache thrashing——时间花在来回搬运，而不是生成答案。
作者因此加入 KV-aware scheduler（感知 KV 压力的调度器）。它根据 GPU 上的 KV 占用和等待恢复的任务数量，动态调节同时运行的请求数：余量充足时逐步增加并发，压力过高时快速降低，并优先恢复已暂停的请求。这样既保留批量并行，又尽量避免反复卸载和恢复缓存。
论文的系统实验显示，相比固定并发上限为 256 的 offload 方案，这套 AIMD 调度将每生成 1000 个 token 所搬运的缓存页从 18.0 降到 1.3，生成吞吐量从每张 GPU 每秒 6014.9 token 提高到 6362.1 token。相对作者设置的自回归基线，其生成吞吐增益为 59.5%。这些数字说明，投机解码是否真正变快，不只取决于草稿猜得准不准，缓存怎么调度同样重要。
加速有没有落到整条训练管线上？
作者在单台八张 H100 GPU 上，用 Qwen3-1.7B 和 Qwen3-8B 训练数学推理任务。每批包含 256 个题目，每题生成 8 条回答；两种模型的最长回答分别为 16K 和 24K token。
按论文结果，S³R 相对自回归 rollout 的端到端训练吞吐量，在 Qwen3-1.7B 上达到 1.39 倍，在 Qwen3-8B 上达到 1.35 倍。对应的单步总时间分别从 13.9 分钟降至 9.9 分钟、从 50.2 分钟降至 37.4 分钟。AIME26 得分方面，1.7B 模型的自回归基线为 37.2，S³R 为 37.1；8B 两者均为 65.42。ArXiv-Math 上的结果也接近。论文据此称任务表现“可比”，但没有在所给材料中报告统计误差或重复实验波动。
另一组消融更直接地说明了“先稀疏起草、再完整验收”的意义。在相同模型、数据、优化器和批处理设置下，直接采用激进稀疏采样、再在训练侧做过滤和重要性重加权的方法，约在第 70 步出现明显梯度尖峰，随后奖励恶化；S³R 在展示的 100 步中没有出现这种尖峰与崩塌模式。这个结果与论文的组级偏差分析相符：与其等样本生成后再补救，不如在奖励和组内优势计算之前，就把采样分布校正回来。
为什么值得关注
S³R 的价值不只是“又一种解码加速”。它给稀疏计算划出了一条清楚的边界：近似可以用于提出候选，但训练真正消费的答案仍来自完整策略分布。这样，系统可以调节稀疏预算来寻找速度平衡，而不必同时改写策略优化所依赖的样本组。
论文的预算扫描也显示，保留更多历史并不一定更快。稀疏预算从 0.05 提高到 0.50 时，草稿接受率从 80.4%升至 96.7%，但相对自回归生成的速度提升反而从 1.370 倍降至 1.058 倍。草稿更准了，却读了更多 KV；多接受的 token 没能抵消额外成本。S³R 真正试图优化的，是“便宜草稿、有效进展、完整验证和缓存搬运”之间的总账。
局限与未知
- 全部效果论断都来自 S³R 论文自身，尚无独立信源交叉验证；“精确”“稳定”和“表现可比”等表述也应按作者实验范围理解。
- 1.39 倍与 1.35 倍来自指定的 Qwen3 模型、数学任务、八张 H100、长回答设置及作者的自回归基线，不能视为一般性的 RLVR 加速幅度。
- 完整验证仍须保留全部历史 KV Cache。论文展示了调度改进，但 S³R 在其他硬件、上下文长度、稀疏预算，以及 MoE 或线性注意力模型上的效果，仍待进一步实验。