你做完一轮试验，新方案看起来有效，p 值也过了常用门槛。现在要不要马上推广？很多团队会把“显著”当作发令枪。但真正昂贵的问题还没回答：如果再等一轮，错误决策会少多少；而等待、采样和延迟上线又要付出多少？
Aristotelis Epanomeritakis 与 Davide Viviano 的这篇论文把显著性检验改写成一道行动题：立即推荐新政策、立即保留现状，还是承认“暂时不知道”，继续收集证据。作者提出 A-value（abstention-value，暂缓决策价值），用一个盈亏平衡成本衡量第三个选项是否值得。
先澄清标题里的“显著之后”：这套方法并不只处理已经达到传统统计显著性的结果。它面对的是更一般的问题——无论当前证据强弱，何时应该拍板，何时应该再看一轮。以下结论均来自该论文，尚无独立信源交叉验证。
p 值回答不了“还要不要等”
显著性检验通常先假设政策没有效果，再问：如果这个假设是真的，眼前这么反常的数据出现的概率有多大？这个概率就是 p 值。p 值较小，说明数据与“没有效果”不太相容；但它不说明效果是否重要，也不会自动告诉你继续实验值不值。
常见的 0.05 则是检验水平——研究者事先容许的误报概率门槛。它是一项惯例，不是一条天然分界线。若第二轮实验便宜、快速而且能明显提高精度，多等一轮可能合理；若补数据代价高昂，决策者就可能接受较弱的证据，尽早行动。
论文研究一个两阶段场景。第一轮实验给出政策福利效果的估计；这个估计带噪声，但无偏，也就是反复做实验时不会系统性高估或低估效果。作者进一步假设估计近似服从 Gaussian（高斯）分布，而且方差已知。看到首轮结果后，研究者有三个选择：推荐实施政策、推荐维持现状，或者暂缓决定。若暂缓，就支付福利成本开展第二轮实验，最后综合两轮信息作出决定。
这里的“成本”不只是实验账单，也包括延迟决策造成的福利损失。
中间那一段，不再硬判
作者用 minimax regret（极小极大遗憾）评价规则。“遗憾”指所选行动相对于事后最佳行动损失了多少福利；“极小极大”则是不押注某个先验概率，而是让最坏情况下的遗憾尽量小。推荐了有害政策会产生损失，错过有益政策也会产生损失，继续实验还要计入成本。
在论文的设定下，最优决策呈现三个区域：首轮证据充分为正，就推荐实施；充分为负，就推荐保留现状；落在中间区域，就继续采数据。边界由两个因素决定：继续实验的成本，以及第二轮相对第一轮能提供多高的精度。
直觉并不复杂。补证据越便宜、越准确，“再看一眼”的门槛就越低，研究者会要求更强的当前证据才肯立刻拍板。反过来，如果下一轮实验昂贵，继续等待本身可能造成更大损失，立即行动的证据门槛就会放宽。这样一来，显著性水平不再是固定惯例，而是由行动代价和信息质量共同决定。
论文还把这条规则扩展到多个阶段。每一轮都保留同样的“死区”：累积证据明显为正或为负时停止，处于中间时继续。未来可实验的轮次越多，继续学习的机会越大；剩余轮次减少或后续成本上升时，停止门槛会变得宽松。
A-value 是一张“再等等”的报价单
现实中，团队未必能准确说出等待一轮究竟损失多少福利。作者因此反过来计算：给定当前证据，追加一次同等精度的实验，最高值得付出多少成本？这个盈亏平衡点就是 A-value。
判断规则很直接：如果实际的继续实验成本低于 A-value，就暂缓建议并补数据；如果成本高于它，就根据现有证据立即选择。A-value 越小，说明当前证据越有决断力，继续实验只有在非常便宜时才划算。
A-value 与 p 值有关，却多看了一层。其他条件不变时，p 值越大、当前证据越弱，A-value 越高。但即使两个项目的 p 值相同，标准误更大的项目也会有更高的 A-value。标准误衡量估计的不确定程度：同样的统计显著性背后，一个项目可能只在很小的福利尺度上摇摆，另一个却可能对应更大的得失。p 值看不见这项差别，A-value试图把它纳入决策。
这也带来一个重要限制：跨研究比较前，政策效果必须换算到共同的福利单位。否则不同项目的 A-value 就像用不同币种标价，数字大小没有直接可比性。
预算有限，先补哪几项
A-value 最实用的场景，或许不是判断单个实验，而是在许多候选项目之间分配有限的复现实验名额。论文建议优先选择 A-value 最大的项目：这些项目若立即决策，潜在福利损失最大，因此新增信息更值钱。
作者证明，在其独立政策问题、高斯无偏估计等条件下，这种排序具有有限样本的福利保证。它与最佳可行策略之间的最坏情形遗憾差距，由实验名额边缘位置的预期 A-value 控制。边缘项目的 A-value 越小，这套排序就越接近极小极大遗憾意义下的最优方案。
当所有实验精度相同时，A-value 排序等同于优先选择 p 值最大的项目，也就是先补最不确定的证据。但精度不同时，两种排序会分开，因为 A-value 同时考虑统计上的不确定和错误决策涉及的福利尺度。
论文用 42 项中低收入国家无条件现金转移项目评估作示范，以家庭消费变化衡量福利。若只能安排 10 项后续实验，A-value 与按最大 p 值排序重合 7 或 8 项，与按标准误排序重合 5 或 6 项，具体取决于成本设定。与 empirical Bayes（经验贝叶斯，即从一批既有研究估计共同的效果分布，再据此修正单项结果）相比，两种规则选中的 10 项仅重合 3 至 5 项。作者认为，这反映了两种立场的区别：经验贝叶斯依赖研究之间可交换、可由共同分布描述的假设；A-value 则不要求为各项目套用共同先验。
为什么值得关注
这项工作的价值，不在于再造一个替代 p 值的数字，而在于改变停止规则的提问方式。团队真正需要决定的通常不是“结果够不够显著”，而是“现在犯错的代价，是否高过继续等待的代价”。A-value把实验费用、时间损失、后续精度和政策福利放进同一张决策表，也让“我们还不知道”从含糊表态变成一种可以估价的行动。
局限与未知
- 结论依赖论文的具体设定，包括高斯、无偏的福利估计、已知方差，以及极小极大遗憾目标；不能直接泛化到所有假设检验和采数场景。
- A-value 高不等于现实中的采数回报必然高。预算、样本获取成本、实验对象差异和结果能否推广到其他环境，仍可能改变选择。
- 论文的排序保证有明确条件。把多个项目直接排在一起，还要求福利单位可比；若研究之间相关，或成本差异没有妥善纳入，简单选择最大 A-value 未必仍有同样保证。