你做过一轮实验,看完结果后,挑出表现最好的指标拿去给新版本作上线保证。数字虽然没变,它承诺的可靠程度却可能变了:因为“先看再挑”天然偏向更乐观的结果。这就是选择成本——旧证据换了用途,原来的错误率承诺不能自动随行。
Li 与 Chen 给出一个精确反例:一组候选过程各自都是单位起步的鞅——可理解为长期平均不占便宜的“公平游戏”;但系统看过数据后再选其中一个,所选过程的期望起点可升到候选数量 m。论文构造的单次切换甚至能以概率 1 突破既有边界,因此,仅按切换次数和错误率收费的通用修补并不存在。对没有额外结构的有限候选集合,作者证明 m 正是最坏情况下不可再降的起点成本。
他们据此提出“付费起步”:每次启用新保证时,把当时已经观察到的起始证据计入边界;若不想付这笔钱,就丢掉被选择的旧积累,只用之后的新数据重新起算。核心提醒很朴素:统计保证不只属于一个结果数字,还属于产生它的实验、选择规则和适用对象。