排行榜被操纵，结论还能信吗

想象一场公开计票的比赛。参赛者随时能看比分，还可以不断追加选票：落后时集中投票，领先后立即停手，或者测试几十个选手，只公布成绩最好的那个。此时，即使排行榜附着一条看似严谨的置信区间，也未必足以说明结果可靠。

Hamed Khosravi 和 Xiaoming Huo 的这篇论文，试图给出一种更诚实的说法：不直接宣布“A 一定强于 B”，而是宣布“A 领先 B，除非前 $t$ 条记录中被操纵的数量超过某个门槛”。这个门槛叫 certified corruption budget——认证腐败预算，也就是这项排名论断能够经受多少条坏记录。

论文进一步要求，这张“抗操纵证书”在排行榜持续更新、参与者反复观察结果甚至集中发动攻击时，仍然有效。以下方法、定理和实验结论均来自这篇 arXiv 预印本，尚无独立信源交叉验证。

给排名附上一条抗操纵刻度

传统统计检验常假定，研究者提前决定收集多少数据，然后只分析一次。公开排行榜不是这样。它每天变化，人们反复查看，还可能根据当前名次决定下一步做什么。这叫自适应数据收集——后来的数据如何进入系统，取决于此前已经公开的结果。

论文采用随时有效推断（anytime-valid inference）：无论读者在哪一刻查看或停止，误判率都要受到控制。作者声称，以至少 $1-\alpha$ 的概率，所有时点同时满足下面二者之一：成对排名论断正确；或者实际被操纵的记录数已经超过当时公布的认证预算 ${\hat{B}}_t$。

这句话的重点是“二选一”。证书不是说排行榜没有遭到操纵，也不会指出哪一票有问题。它说的是：如果你要证明当前结论是错的，就必须承认坏记录至少多到越过某条明确的线。

作者分别处理两种论断。“领先”是指截至当前，A 在正常记录上的平均表现优于 B，接近日常排行榜的含义；“曾有优势”则只要求 A 在某个时点曾经更占优。当胜负概率稳定时，两者重合。

核心办法像一本有上限的赌账

论文把统计证据写成一名赌徒不断下注后积累的“财富”。如果 A 确实更常胜，财富会逐渐增长；若 A 并不占优，财富在正常情况下不应轻易跨过检验门槛。

麻烦在于，一条伪造记录可能瞬间抬高财富。因此作者限制每次下注的大小，让单条坏记录最多只能制造有限的假证据。随后，他们用总证据减去正常检验所需的部分，再除以“一条坏记录最多能伪造多少证据”，得到可认证承受的坏记录数。

可以把它理解成审计：账面利润超过安全线很多，但一张假发票最多只能虚增固定金额。用超出的利润除以单张发票的最高影响，就能得到“至少需要多少张假发票，才可能推翻结论”。

单一下注尺度不适合所有强弱差距。论文因此并行运行一组不同大小的下注，再把它们合并。模型差距较大时，证据积累得快；差距很小时，证书自然更保守。算法对每个模型对只需保存有限状态，并可随新记录更新。

伪造一票和翻转一票，不是一回事

论文最重要的区分，是攻击者在动手时知道多少。

伪造记录好比凭空塞进一张支持 A 的票。攻击者可以观察排行榜，但在制造这条记录前，没有先看到一张真实票的结果。另一种攻击更强：攻击者先看见真实结果，只把对自己不利的票改掉。基准污染——测试题或答案进入训练数据，相当于考生提前看过试卷——也更接近后一种情形。

作者证明，两类威胁不能共用同一张证书。面向伪造记录的低成本证书，如果遇到“看见失败票后再翻成胜票”的攻击，其失效概率可以趋近于 1。要防这种观察后篡改，每条记录需要计入大约两倍的证据成本。

论文还声称，采用固定下注时，这个较贵的证书甚至能抵御提前看见未来全部正常记录的离线攻击者；而且若想在所有显著性水平下都保持有效，不能再使用更低的单条计费。这里的“不能更低”依赖论文定理的具体假设，不能理解为所有排行榜防御方案的一般极限。

差距越清楚，能承受的坏票越多

在没有平票、胜率为 $1/2+\delta$ 的理想化独立同分布情形下，作者给出了证书增长速度：每增加一条记录，可承受的伪造记录数接近增加 $2\delta$；若攻击方式是翻转已有记录，则接近增加 $\delta$。说白了，真实优势越明显，攻击者需要付出的操纵成本越高；两强非常接近时，证书不会凭空给出安全感。

选择性披露也可以被计价。开发者若私下测试 $V$ 个模型变体，只发布表现最好的一个，相当于从多次尝试中挑赢家。论文给出的额外证书代价只按 $\log V$ 增长，而不是与 $V$ 成正比。不过，这仍说明预先登记要测试的变体数量很重要。

真实榜单上，它能挡到哪里

作者按时间顺序重放了约 180 万条 Chatbot Arena 公开投票。Chatbot Arena 的一条记录，是用户比较两个匿名模型的回答，并选择更好的一个或判为平局。

在针对三个接近模型对的操纵重放中，攻击者加入或翻转几百张票，就能让 Wald 置信区间、未做抗操纵处理的下注方法等基线认证错误排序；与攻击类型匹配的腐败预算证书仍保持作者定义的有效性。

在真实投票上，论文报告，差距明显的模型对可以认证承受约 1,000 至 2,000 张伪造票，翻转票的容忍量约为其一半；最接近的模型对只能承受约百张。若要求同时为所有模型对作出论断，证书明显收紧：作者没有认证 GPT-4o（2024-05-13）高于 Claude-3.5-Sonnet。

静态基准也显示了这种克制。在 MMLU 的四个 7B–9B 开放权重模型上，差距明显的模型对获得了接近理论上限的替换记录容忍度；但在五个前沿基准上，当所有模型对同时纳入论断时，没有任何前两名排序获得认证。这不是方法“没算出冠军”，而是它拒绝在证据不足时给冠军贴上稳健标签。

为什么值得关注

这项工作的价值，不是承诺榜单从此可信，而是把争论换成了可核查的问题。过去人们看到一个名次，往往只能问“这个榜单会不会被刷”；现在可以进一步问：“若要推翻这条具体排序，至少需要多少条、哪一种坏记录？”

它也迫使平台说明威胁模型。假账号制造的新票，与看过真实结果后精准翻票，风险不同；污染测试题，与随机噪声也不同。若平台拿便宜的伪造证书去应付观察后篡改，数字再漂亮也没有意义。

更现实的用法，是把 ${\hat{B}}_t$ 与平台掌握的攻击规模线索放在一起看。证书给出的是统计容错边界，不是清白证明。排行榜仍可能被操纵，只是攻击者若想让一条错误结论通过认证，需要跨过公开标出的成本线。

局限与未知

• 论文的保证是带条件的统计性质，不能识别具体坏票，也不意味着通过认证的排行榜必然未受操纵。
• “约 1,000 至 2,000 张”和“几百张即可击穿基线”来自特定数据、模型对与攻击重放，不能泛化为其他排行榜的通用安全阈值。
• “接近任何有效方法允许的最快速度”和“不能采用更低计费”等最优性结论依赖定理假设；现实数据若不满足相应条件，适用范围还需另行判断。