同一批数据，临床AI为何各说各话

两家医院准备上线一套死亡风险预测工具。随机森林和逻辑回归都交出了一张看起来不错的成绩单，但到了心脏疾病患者这里，它们的判断能力可能拉开明显差距。该信哪一个？如果只看全体患者的平均成绩，这个问题很容易被藏起来。

这篇论文处理的正是这种风险：同一批训练数据可以产生多个总体表现不错的模型，它们面对特定患者时却未必意见一致。这叫“预测多重性”（predictive multiplicity）。作者提出一套统计审计框架，试图找出哪些患者亚组最容易受到模型分歧影响，并区分“看起来值得担心”和“证据已经足够”这两件事。

需要先说明：本文数字与结论均来自 Enock Adu Bonsu 发布的一篇 arXiv 论文，尚无独立研究交叉验证。论文的价值主要在于提出问题和审计办法，而不是证明某类临床 AI 已经不安全。

不只问“差多少”，还要问“后果多重”

常见做法是按年龄、病情或其他特征切分患者，再比较模型表现。但同时检查许多亚组，就像连续抽很多次签：即使没有真实异常，也可能偶然抽中几个看似突出的结果。

作者设计了亚组脆弱性指数 $V(S)$。它把两个维度放在一起：模型在亚组 $S$ 中的区分能力差距，以及该亚组结局的临床严重性。这里的区分能力用 AUC 衡量——它表示模型把高风险患者排在低风险患者前面的能力。思路很直白：分歧大但后果轻，和分歧大且后果重，不应得到相同的核查优先级。

框架还给估计值配上置信区间和统计功效。置信区间表示结果可能波动到什么范围；统计功效表示样本量是否足以识别预设大小的差异。作者同时采用多重检验校正，控制“查得越多、误报越多”的风险。最终的高优先级判断不是只看一个大数字，而要同时满足差距、脆弱性、功效和校正后的统计标准。

这套工具面向部署前和部署后的模型治理，不是医生床边使用的即时评分器。它更像一张检查清单：先找出值得追加数据、专项验证或限制使用的患者群体。

最大的数字，不等于最硬的证据

研究用 MIMIC-IV 的 65,078 次 ICU 入院记录开发模型，再用覆盖 208 家医院、188,230 次入院的 eICU-CRD 做外部验证。外部验证就是把模型或审计方法拿到另一批医院数据上检查，避免结论只适用于原始样本。研究预先规定了 158 个患者亚组，主要比较 random forest（随机森林，组合许多决策树作出预测）与 logistic regression（逻辑回归，用一组变量估计结局概率）。

结果很适合说明“点估计”和“可靠结论”的区别。共有 9 个亚组的两模型 AUC 差距可以与预设临床门槛区分，但这不等于发现了 9 个高优先级风险群体。

“80 岁及以上且属于心脏疾病诊断”的亚组，$V(S)$ 点估计最高，为 0.307；然而该组只有 581 个样本，统计功效不足，没有通过完整的高优先级规则。相比之下，范围更宽的单变量心脏疾病亚组有 3,386 个样本，$V(S)=0.193$，95% 置信区间为 $[0.163, 0.223]$。它是唯一既能与预设门槛作统计区分、又有足够功效的亚组。

即便如此，在完成多重比较校正并套用全部规则后，158 个亚组中仍没有一个被正式列为高优先级。这并不表示模型分歧不存在，只表示现有证据还不足以触发作者设定的最高等级判断。换句话说，框架不仅负责报警，也负责提醒人们别把音量最大的警报当成最可信的警报。

一个关键前提，在实证中没有成立

论文的理论出发点是“Rashomon set”——在预设容差内，总体成绩都接近最佳模型的一组候选方案。如果两个模型都属于这组模型，那么它们在某亚组中的差距，可以作为整组模型最大分歧的一个可观测下界证据。

但本次主要比较没有满足这个条件。随机森林的验证集 AUC 为 0.8021，逻辑回归为 0.7533；后者比最佳候选模型低 0.0488，超出了预设的 $ϵ=0.02$ 容差。因此，RF–LR 差距只能说明这两个特定模型之间存在分歧，不能写成完整 Rashomon set 分歧的可靠下界。

这不是措辞上的小修正。它意味着论文提出的理论保证，与这次临床数据应用之间存在一道没有跨过去的门槛。扩展到五种候选模型后，158 个亚组中有 67 个至少出现一对模型超过临床差距门槛，远多于 RF–LR 比较中的 9 个，也进一步说明审计结果会随比较对象变化。

为什么这套思路仍值得关注

它把临床 AI 的安全讨论从“哪个模型总分最高”，推进到了“选择不同模型时，风险会落到谁身上”。总体 AUC 接近，不能保证每个患者亚组都得到相近判断；而只列亚组差距，也不能告诉管理者先调查哪里。$V(S)$ 的作用，是把分歧、后果、样本量和误报控制放进同一套决策流程。

论文还展示了为什么审计最好按部署地点重做。在达到测试样本门槛的 145 家 eICU-CRD 医院中，估计的脆弱性数值从 0.032 到 0.394 不等。一个中央数据集上的排序，未必可以原样搬到每家医院。

作者事后发现，lactate（乳酸）对随机森林和逻辑回归都很重要；在心脏疾病亚组的最高风险十分位中，两模型给出的平均死亡风险分别为 0.446 和 0.251。不过，这项分析没有证明乳酸导致了模型分歧，更没有建立因果机制。它只能提供下一步调查的线索。

局限与未知

• 理论前提未在主要比较中满足。 逻辑回归不属于预设的 $ϵ=0.02$ 候选集合，因此实证结果是特定模型之间的审计，不能代表所有同等优秀模型的完整分歧。
• 小亚组推断不够稳。 四项模拟显示，小样本下检出率会膨胀，Wald 置信区间的覆盖率也不理想。例如一项零效应场景中，经验检出率为 60.6%，而渐近近似为 29.2%。这要求小亚组使用更多数据或额外校准。
• 排序尚未表现出稳定性。 验证集与测试集的亚组排名相关性接近零。现有排序更适合作为后续验证的候选清单，而不是固定不变的临床风险榜。

这项工作的克制之处也正是它最值得保留的部分：模型审计不该只报告一个醒目的亚组和一个最大的数字，还应同时交代比较前提、统计功效与不确定性。它能指出下一步该查哪里，但不能单凭一次分析裁定某个模型有偏、危险，或应当立即退出临床使用。