Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.100 — 2026-10-12
PAPER 约 7 分钟

小试验如何借力大观察数据

用大规模观察数据帮小型随机试验降噪,同时让因果结论仍由试验锚定。

大数据可以帮忙,但不能替它作证

假设一家医院想知道一种治疗是否有效。手里有一项几百人的随机试验,也有上万条日常诊疗记录。后者看起来信息丰富,却有一个麻烦:接受治疗的人,可能原本就病得更重,或在其他方面不同。直接把两批数据混在一起,样本是多了,结论却可能更偏。

Yonghan Jung 和 Shu Yang 的论文提出一种更克制的用法:让大型观察数据帮助小型随机试验降低噪声,但不把观察数据当作因果证据。这个框架名为 prediction-powered data fusion,可以理解为“预测辅助的数据融合”:观察数据负责提供预测线索,随机试验负责校正并锚定结论。

论文讨论两类目标。ATE(average treatment effect,平均治疗效应)回答“治疗对整个人群平均有多大作用”;CATE(conditional average treatment effect,条件平均治疗效应)则进一步问“对某个年龄、病情或其他特征的人,作用有多大”。以下方法性质与实验结果均来自这篇论文,尚无独立团队复核。

关键不是多算一遍,而是分清谁能说什么

RCT(随机对照试验)通过随机分配治疗,让治疗组和对照组在平均意义上可比,因此能识别因果效应。但试验昂贵,样本往往较小,估计容易晃动。OBS(观察性数据)来自医疗记录或业务日志等自然过程,数量大,却可能存在混杂——某些未被记录的因素同时影响治疗选择和结果。

论文的核心角度是:既然 RCT 已经能够识别目标,就不让 OBS 改写目标,只让它协助减少方差,也就是降低重复抽样时的波动。这很像用一把可靠但刻度较粗的尺子定准位置,再借助一把刻度细、却可能整体偏移的尺子改善读数;第二把尺子可以增加信息,但不能决定零点。

这种“借力”走两条通道。第一条是把 OBS 学到的结果预测放进 RCT 的估计公式,帮助解释个体结局的可预测部分。第二条采用 prediction-powered inference 的思路:先利用大量 OBS 得到辅助预测,再用可信的 RCT 修正预测可能带来的偏差。论文联合选择两条通道的权重,而不是只用其中一种。

平均效果:AIPW-Fusion 怎样守住锚点

针对 ATE,作者提出 AIPW-Fusion。AIPW 是 augmented inverse probability weighting,即“增广逆概率加权”:它把治疗分配概率与结果预测结合起来估计平均效果。在随机试验中,治疗概率已知,这使估计可以在结果预测不完美时仍由随机化保证其有效性。

AIPW-Fusion 一方面把 RCT 与 OBS 的结果回归做成加权混合,另一方面加入基于 OBS 的预测校正项。论文推导了闭式权重——不必反复数值搜索即可计算的权重——以及相应置信区间。权重受限于一个包含“完全不用 OBS”的范围,因此方法可以在观察信息帮助不大时退回试验估计。

这里的“不受 OBS 混杂影响”不是无条件承诺。论文要求随机试验本身满足识别条件,包括治疗概率已知且不接近 0 或 1;不同数据来源还要满足相应的协变量覆盖条件,并使用彼此独立的数据切分来训练、调参和最终估计。若 RCT 与 OBS 的人群特征分布不同,还要估计密度比——某类人在试验人群与观察人群中相对常见程度的比值。论文明确指出:密度比设错会引入偏差。

为减少这种风险,作者加入校准,让重新加权后的 OBS 在关键特征上尽量贴近 RCT。ATE 只需针对一个与偏差直接相关的特征做平衡;线性形式的 CATE 学习则需要平衡一组更丰富的特征。校准不是把两个人群变得完全相同,而是压低真正会进入估计偏差的那部分失衡。

个体差异:先训练,再让试验挑选

针对 CATE,论文提出 DR-Fusion 和 R-Fusion。DR-Fusion 建立在 DR-learner 上:先为每个人构造一个经过治疗概率和结果预测修正的“伪结果”,再学习它随个人特征如何变化。R-Fusion 则建立在 R-learner 的损失函数上,通过剔除可预测的基线结果,集中学习治疗带来的差异。

两种方法都沿用前述两条借力通道,但没有直接假定 OBS 不受混杂,也不专门建立一个“混杂偏差函数”。它们先在预设权重网格上训练多个候选模型,再用留出的数据选择风险最低者。论文给出的理论保证是:在其条件成立时,选出的模型相对网格内最佳候选只多出有限样本误差;由于网格包含“不借 OBS”的选项,它可以退回仅使用 RCT 的学习器。

数据切分在这里不是实现细节。论文举例说明,如果用同一批样本既挑权重又报告结果,即使每个固定权重原本都居中,挑选过程本身也可能制造正偏差。因此作者将数据分成拟合辅助模型、选择权重和最终评估三种角色,并通过交叉拟合轮换这些角色。

数字说明了什么

作者在合成数据以及 IHDP、ACIC 2016 两个半合成基准上测试方法。试验总样本量从 300 到 3,000,OBS 为 15,000 条,每个设置运行 1,000 次。半合成意味着保留真实协变量,但使用已知的结果生成机制,从而能够计算真实误差。

论文报告,AIPW-Fusion 在 45 个组合设置中都取得最低的 ATE 均方误差,其误差为仅用 RCT 方法的 0.40 至 1.00 倍。试验样本较小时收益更明显:在正文重点展示的 n=300 设置中,比例为 0.47 至 0.60;到较大样本时,优势缩小。其 95% Wald 置信区间覆盖率为 0.94 至 0.96,区间宽度是 RCT 方法的 63% 至 99%。

CATE 上,DR-Fusion 和 R-Fusion 在全部 45 个设置中的风险为 RCT 学习器的 0.53 至 0.67 倍,两者相差不超过 0.01。相反,直接合并两类数据的 naive pool 在所有设置中都比仅用试验更差;ATE 误差可达到后者的 8.6 至 184 倍。这个对照正好说明:观察数据的规模不能自动抵消混杂,错误地合并反而会把稳定的偏差暴露得更清楚。

为什么值得关注

这项工作的价值不在于宣称“大数据能替代试验”,而在于给两类数据安排了不同职责。随机化负责可信度,大样本负责预测精度。它也把 ATE 与研究较少的 CATE 放进同一套借力逻辑,并为平均效果提供置信区间,为条件效果提供包含退路的模型选择机制。

更现实的一点是,很多机构恰好处在这种数据结构中:可信试验少而贵,日常记录多而杂。论文展示了一条中间路线——不丢掉 OBS,也不假装它天然具备因果解释力。

局限与未知

  • 所有证据来自作者自己的理论分析和实验。基准包含重复抽取的协变量行,论文也提醒,这可能让 OBS 回归在这些位置上比面对全新个体时更准确。
  • “任意 OBS 混杂下保持目标”仍依赖 RCT 有效、样本分离、协变量覆盖、有限矩等条件。人群分布不同时,密度比估计错误会带来偏差,校准也只能控制选定特征上的失衡。
  • 实验使用合成与半合成设计,尚不能直接回答真实部署中数据缺失、测量差异或更复杂人群迁移下能获得多大收益。

供稿材料 SOURCES — 1

← 返回 2026-10-12 · 数据板块