做 A/B 测试时,如果一位“鲸鱼用户”的消费额抵得上成千上万人,把他随机分到哪一组,就可能左右整个结论。论文分析的正是这种重尾结果——极端大值出现得格外频繁。文中提到,在 RAND Health Insurance Experiment 的第二年医疗支出数据里,一个人就贡献了约三分之一的残差波动。
常规做法会对处理组与对照组的均值差做“学生化”:把估计误差除以标准误,再按近似正态分布构造 Wald 置信区间。作者证明,当少数个体始终占据不可忽略的波动份额时,这个标准化统计量通常不会趋近正态,样本继续增大也未必补救。更反直觉的是,即使两组潜在结果各自的分布完全相同,只要同一个人在接受处理和不接受处理时的两个潜在结果配对方式不同,最终的极限分布和区间覆盖率也可能不同。
这不仅影响最基础的差均值估计,也影响 Lin 回归调整——一种用实验前特征提高精度的方法。它能解释普通差异,却不会自动消除极端用户主导波动的问题。论文还推导了平衡分组下常规区间的覆盖率下限,但现有材料缺失具体数值;稳妥的结论是:面对收入、消费和医疗费用等重尾指标,看到“大样本”不能直接等同于推断可靠。