你想知道一项新政策有没有效果,于是把同一套分析搬到政策尚未实施的年份。按理说,那里不该出现效果。如果分析仍测出变化,就像一把空载时也不归零的秤:正式结果可能混入了偏差。现实中,研究者常看一眼这个“空载读数”:不显著,就继续;显著,就警觉。Miha Gazvoda提出,别急着把它判成通过或失败。安慰剂检验本身也是数据,应该进入模型,参与校正正式结果。
Andrew在博客中介绍并认可了这个方向:用 Bayesian multilevel model(贝叶斯多层模型——同时估计多组结果,并让信息较少的组适度借用整体信息)汇总多次安慰剂检验,估计偏差与调整幅度。不过,现有材料只有Andrew对Gazvoda文章及其团队工作的转述,没有样本规模、量化效果或校准指标。下面讲的是方法主张,不是已经得到充分验证的性能结论。
安慰剂不是一张通行证
这里的 placebo test(安慰剂检验)不一定涉及药物或真正的安慰剂。它指的是:把估计因果效应的同一套统计分析,用到理论上没有接受处理的数据、时期或结果变量上。
因果效应问的是“某项措施是否导致结果改变”,而不只是两件事恰好同时出现。假设一项干预发生在2021年,研究者可以拿另一个没有发生干预的年份重复分析;也可以换一个理论上不该受影响的结果变量。如果这些地方也频繁冒出“效果”,估计方法可能带有伪影或系统性偏差。
问题在于,常见做法把检验压缩成了一个开关:结果达到统计显著,就认为有问题;没有达到,就当作没问题。统计显著只是在一套假设下判断数据是否足以反对“效应为零”,并不等于偏差存在与否的终审判决。尤其是“没有检出显著效应”,不能直接证明偏差不存在。信号可能很小,也可能只是数据不足以把它看清。
换句话说,安慰剂估计值即便没有越过显著性门槛,也不是毫无信息。它的方向、大小和不确定性,都可能帮助我们理解正式估计偏了多少。
不全减,也不全扔
据Andrew的转述,Gazvoda反对把安慰剂检验只当作 go/no-go 决策,也就是“继续或叫停”的按钮。他主张利用其中的信息,对处理效应做部分调整。
这介于两种极端之间。一种是直接相减:拿主实验的估计效应,减去安慰剂实验的估计值,也就是 difference in differences(差上差)。Andrew观察到,这在生物医学统计中常被当作默认建议;他同时转述称,这样做可能增加估计方差。方差可以粗略理解为结果在重复研究中会晃动多大。不过,供稿没有提供指南、调查数据或完整推导,因此这里不能把相关惯例及代价写成已经普遍证实的定论。
另一种极端更常见于Andrew所描述的计量经济学实践:只要安慰剂估计没有显著偏离零,就完全忽略它。前者可能校正得太用力,后者则可能把有用信号全部丢掉。
部分调整的直觉很简单:先判断多个安慰剂结果是否呈现共同模式,再决定正式结果要往回修多少。如果它们总朝同一方向偏,校正理由更强;如果结果零散、噪声很大,调整就应更克制。
关键不是多算一次,而是把多次结果连起来
当存在重复研究或内部重复时,可以拟合贝叶斯多层模型。它不会把每次安慰剂检验视为互不相干的孤岛,而是同时估计整体偏差与各次检验的差异。数据少、波动大的单次结果会适度参考整体模式;信息更充分的结果则保留更多自身特征。
Gazvoda采用的思路,是把Gelman等人在“Slamming the Sham”中使用的 chickens model 推广到更一般的 placebo control tests。这里最重要的不是模型名字,而是视角变化:研究者不再逐项盯着显著性标记,而是把一组安慰剂估计值及其不确定性共同交给模型,估计安慰剂调整是否相关,以及调整应有多大。
这也关系到不确定性校准——检查模型给出的概率或区间,是否与实际误差相称。比如,一个标称覆盖率为95%的区间,在重复评估中理应大致覆盖95%的真值。安慰剂结果能提示原分析是否低估了系统性偏差或不确定性。但“校准不确定性”目前只是该工作的目标表述;材料没有给出覆盖率等指标,不能据此断言目标已经实现。
为什么值得关注
这项工作的价值,不在于为安慰剂检验再加一道复杂手续,而在于拒绝浪费信息。显著与否是把连续证据切成两半。多层模型则保留了效应大小、方向、重复模式和估计误差,让校正幅度随证据变化。
它也更诚实地面对一个尴尬事实:安慰剂检验通常是为处理“尚未说清来源的偏差”而设。若研究者已经完全知道偏差从哪里来,理想做法本应直接修正识别与估计方法。正因为原因不明,机械地全减或全不减都显得武断。部分调整提供了一个中间方案,但它是否可靠,仍取决于重复数据和先验信息——也就是分析开始前已有的合理认识。
局限与未知
- 现有材料没有披露模型的样本规模、量化效果、误差改善幅度或校准指标,因此不能说它已被证明比传统做法更准确。
- 有重复研究时,调整因子可以从数据中估计;若只有一次实验,就需要先验信息。Andrew明确表示,目前没有好的示例说明这种一次性场景该怎么做。
- 全文事实来自Andrew对Gazvoda文章及团队论文的单一转述。Andrew所说“这个思路对我有道理”是评价,不等于实证验证。