把照片的像素误差降下来，不代表人脸一定更好认。大模型量化也遇到了类似问题：训练后量化（PTQ）会在模型训练完成后，把参数压成更省显存的低比特数值；工程师常用“重构损失”衡量压缩前后某一层输出的差距，并默认误差越低越好。这篇论文指出，这个方便的指标可能与模型真正的语言能力错位。
作者在经过 3-bit AWQ 量化的 Llama-3.2-1B-Instruct 上，逐层替换能降低重构损失的权重编码。560 次替换全部让校准数据上的重构损失更低，但其中 413 次、即 73.8%，反而让留出的 WikiText-2 数据困惑度升高——困惑度是衡量语言模型预测文本能力的指标，通常越低越好。原因在于，校准样本里不活跃的输入通道，换一批文本后可能变得重要；为前一批数据找到的“更准”舍入方式便可能失效。
为此，作者提出 Distributionally Robust Quantization（DRQ）：不只追求当前样本的最低误差，而是压低输入分布在限定范围内变化时的最坏重构损失。它只调整量化权重的整数编码，不改位宽、缩放参数或推理算子，因此作者称不会增加推理开销。更重要的提醒是：重构损失适合当工具，却不能单独充当模型质量的成绩单。