导语：不是练完以后再“压缩”
想象两位老师接力辅导同一个学生：一位负责出题并记录学生的答案，另一位根据这份记录纠错。平时，两人的判断只有细小差别；但如果记录被压得过于简略，第一位老师记下的答案，第二位可能认为学生根本没有说过。纠错方向随之跑偏。
这正是把 FP4 引入大模型强化学习后训练时的难题。FP4 是用 4 比特浮点格式表示数值；W4A4 通常意味着权重和激活值都以 4 比特参与主要计算。它能减少显存、带宽和潜在计算成本，却也更容易产生量化误差。过去，人们容易把低精度理解成模型训练完成后的压缩步骤。FourSight 与 MoeResQ 两项工作共同指出：如果模型最终要用 FP4 运行，精度问题就必须进入强化学习后训练的全过程，而不能留到最后处理。
强化学习后训练可以理解为：模型先学会语言，再反复答题，根据奖励调整行为。每次实际生成的一整段回答叫 rollout，系统据此打分并更新模型。如果生成答案的引擎与负责训练的引擎算出的概率不同，模型学到的就可能不是自己刚才真正执行的策略。这种偏差叫训练—推理失配（Training–Inference Mismatch，TIM）。两篇论文分别处理普通架构中的误差集中问题，以及混合专家模型中特有的路由失配。
FourSight：别让少数坏轨迹拖垮整轮训练
FourSight 的切入点很直接：FP4 带来的失败并非均匀散布，而是集中在少数序列和少数激活通道上。
论文在 Qwen3-1.7B 的实验中观察到，训练崩溃前，异常的尾部 token 只占一批生成 token 的 0.2%。到了崩溃低谷，异常集中在 1024 条轨迹中的 361 条。部分恢复后，接近 89% 的轨迹已经回到正常状态，剩余轨迹却几乎被异常 token 占满。这些 token 可能表现为乱码片段、符号循环或突然切换语言：生成引擎曾以较高概率选中它们，训练引擎却给出接近零的概率。
为什么不能只删掉这些 token？因为 GRPO、DAPO 这类强化学习算法，会让同一条回答里的 token 共享序列层面的“优势”信号，也就是这条回答相对同组回答好多少。只屏蔽局部错误，整条已经跑偏的回答仍可能参与更新。
FourSight 因此采用 TIM-aware sequence filtering。它设置两道门：一条轨迹中的尾部 token 总数过多，说明偏移已经广泛发生；连续尾部 token 过长，则说明自回归生成已经沿着错误前缀一路滑下去。满足任一条件，整条轨迹都不再参与策略更新。偶发、孤立的异常仍被容忍，避免把可用数据一并丢掉。
论文报告，在三个 Qwen3-8B 训练快照上，默认过滤配置保留了 38%—68% 的 token，同时把 token 层面的 KL 散度——衡量两个概率分布差异的指标——从 0.81—9.00 降至 0.037—0.054。不过，这一结果来自 FourSight 单篇论文。
保护少数通道，不必把全部计算拉回高精度
过滤坏轨迹只能阻止错误学习，不能让生成本身变好。FourSight 的第二步，是找出 FP4 误差真正集中的位置。
研究者把一个已经退化的 Qwen3-8B FP4 检查点仅在 rollout 阶段切换为 BF16——一种精度更高的 16 比特浮点格式——GSM8K 测试准确率立即回升 20 个百分点。训练过程中，权重漂移最多只有 0.11%，但 W4A4 引起的相对策略误差增长近 8 倍。论文据此判断，模型权重大体仍然完整，主要问题是它对量化噪声越来越敏感。
误差又集中在少数高方差激活通道。激活值可以理解为模型计算时流经各条内部通道的临时信号；方差越高，数值起伏越大。NVFP4 会让每 16 个数共享一个局部缩放尺度。只要其中一个数特别大，尺度就会被拉高，其余 15 个数的表示也会变粗。
FourSight 的 sparse precision compensation 因而只把每个投影中方差最高的 64 个输入通道保留为 BF16，其余计算继续使用原生 NVFP4。论文在退化的 Qwen3-8B 检查点上报告：保护 4096 个通道中的 64 个，可把 AIME24 准确率恢复到 13.5%，接近 BF16 的 14.0%；随机挑选通道则没有这种效果。扩大到 256 个通道，只再增加约 1 个百分点。
为免高精度补偿抵消 FP4 的速度收益，团队设计了融合算子 SpliceGEMM，把 BF16 修正并入 NVFP4 矩阵乘法，并为 prefill——模型一次处理整段输入——和逐 token decode 分别设置数据路径。系统从 Qwen3-8B 扩展到 Nemotron3-Super-120B-A12B。论文称，FourSight 的单步时间与未补偿 FP4 相差不超过 2.3%；在 Qwen3-8B 上达到 20% AIME24 准确率时，相比 QaRL 所需步数减少到原来的约 至 。这些数字依赖论文中的模型、引擎、硬件和目标阈值，不能直接当作所有任务的通用加速比。
到了 MoE，对称修正变成关键
FourSight 说明了如何处理集中出现的异常，但不能据此推断所有模型架构都适用同一配方。MoeResQ 研究的是混合专家模型（Mixture-of-Experts，MoE）：模型每次只调用许多“专家”子网络中的少数几个，像医院先分诊，再把问题送往不同科室。
MoeResQ 论文发现，把面向 dense 模型——每次都会经过同一套主要网络——的 FP4 恢复方法直接用于 MoE，相比朴素 FP4 基线没有改善。原因在路由器：它会作出离散的专家选择。微小数值误差一旦改变选择，后续计算就会进入另一组专家，而不只是让同一路径上的数值稍有偏差。
论文称，只在 rollout 一侧修正，会让训练端和推理端的概率 Pearson 相关系数以及专家选择匹配率明显恶化。MoeResQ 的做法，是在训练侧和推理侧对称应用修正，让两边尽量沿着同样的路由前进。作者报告，它恢复了训练—推理对齐，并显著缩小与全精度方法的准确率差距；摘要没有给出具体任务、分数或差距缩小幅度。
为什么值得关注
两项工作的共同判断，比任何单个加速数字都重要：FP4 训练不是“先用高精度把模型练好，最后再压一下”。在强化学习后训练里，低精度会影响模型生成什么数据、训练引擎如何理解这些数据，以及下一轮更新走向哪里。
FourSight 给出的思路是精准干预：过滤少数严重漂移的完整轨迹，再保护少数最敏感的通道。MoeResQ 则补上架构差异：对 MoE 而言，修正是否在训练与推理两侧对称实施，可能决定路由是否一致。两者共同把关注点从“最终模型能否量化”推进到“整个学习闭环能否在 FP4 下保持一致”。
局限与未知
- FourSight 的具体算法、机制解释和性能数字均来自该论文。虽然实验覆盖不同模型与训练引擎，不能把结果外推到未明确覆盖的 MoE 架构。
- FourSight 所称“接近 BF16”受任务、模型、引擎和评价方式约束；其 1.76—2.60 倍步数效率也对应达到 20% AIME24 准确率这一特定目标。
- MoeResQ 目前材料只有摘要，没有披露具体基准分数和量化差距；“对称恢复是关键原则”应限于论文研究的 MoE FP4 RL 场景，不能外推为所有模型的普遍规律。