Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.124 — 2026-11-05
PAPER H 60 约 7 分钟

样本选择看结果,数据还能合吗

样本是否入选取决于答案本身时,常规加权会失灵;一项半参数方案尝试补上缺口。

你想估算全城平均收入,于是把一份志愿填写的收入调查和一份正规抽样的人口资料合在一起。问题是,高收入者可能更愿意填收入。即使你已经按年龄、职业等特征重新加权,样本仍可能偏高,因为“愿不愿意出现”还取决于那个没有被正规样本记录的答案本身。

这就是非随机缺失(Missing Not at Random,MNAR):入样概率仍受未观察结果影响。Lee、Morikawa 和 Kim 的一篇 arXiv 预印本提出半参数数据融合方法,尝试在这种条件下结合概率样本与非概率样本。前者按已知抽样设计选人,能代表总体,却可能没有目标结果;后者可能有大量结果数据,却不知道每个人为何入选。论文所有效果结论目前都来自作者自己的理论分析和模拟,尚无独立复现。

不只问“谁进来了”

常见做法假定:只要控制双方共有的协变量,入样就不再取决于结果。这叫随机缺失(Missing at Random,MAR)。在收入例子里,它相当于相信年龄、职业等信息已经解释了填写意愿。若高收入者即使在同年龄、同职业中仍更愿意回答,这个假定就失效了。

论文把选择机制拆成两部分:协变量如何影响入样,由一个不预先规定形式的函数描述;结果如何影响入样,则由一个标量的 tilting parameter(倾斜参数)控制。所谓半参数,就是只给机制的一部分规定具体形式,其余部分保持灵活。这样既保留识别所需的结构,又少押注一个可能写错的完整参数模型。

倾斜参数为零时,模型退化为一个受限的 MAR 子模型。也就是说,研究者不必事先断言选择是否受结果影响,可以从数据估计这个参数。但这里的“受限”很重要:该子模型不允许选择机制依赖工具变量,因此并不覆盖所有 MAR 情形。

看不见的结果,靠什么拆出来?

只看两份样本,结果效应和协变量效应通常纠缠在一起。论文为此引入工具变量。它需要影响入样,却不能绕过入样渠道直接影响目标结果。直观地说,它像一个只推动“是否回答”、但不直接改变“收入多少”的外部拨杆。不同拨杆位置提供额外对照,帮助拆开选择与结果之间的关系。

这个识别还依赖 conditional completeness(条件完备性)。它要求:在给定其他协变量后,工具变量带来的结果分布变化足够丰富,能区分不同的选择机制。它比“工具变量与入样相关”更强。论文明确指出,这些条件识别的是总体模型,并不能还原每一个未入样者的真实结果。

工具变量的排除限制也无法完全靠现有数据验证,必须有领域理由支持。若把一个本来会直接影响入样的变量误当工具变量,后续再精巧的估计也修不好这个起点。

关键不只是拟合得更灵活

作者先用概率样本的设计权重,刻画总体协变量分布;再结合非概率样本,逐个候选倾斜参数“剖面化”掉那部分未知的协变量函数。剖面化可以理解为:每试一个结果依赖强度,就先把与之配套的协变量部分消去,再比较哪个候选值最符合两份样本共同提供的信息。

非参数拟合虽然灵活,也会带来平滑误差。论文因此使用 cross-fitting(交叉拟合):把数据分折,在一部分记录上训练辅助模型,再到没参与训练的记录上计算估计方程。它还构造 Neyman-orthogonal estimating equations(Neyman 正交估计方程),让辅助模型的小误差不会在一阶近似中直接传到目标估计。

作者强调,只把倾斜参数的方程做成正交还不够。把它直接代入总体均值,均值估计仍可能继承平滑偏差。因此,他们又对 mass imputation(批量插补,即用已观察样本学出的关系为概率样本补出结果)的均值方程本身做了正交化,并加入结果残差与选择机制的修正项。

在 nuisance product-rate 条件下——也就是各辅助模型误差的乘积下降得足够快——这个估计量支持 centered root-N inference:样本量为 N 时,误差按 1/N 的典型速度收缩,并能围绕真实值进行渐近推断。论文给出的线性化方差同时计入概率抽样设计和倾斜参数估计的不确定性。交叉拟合本身并不会自动消除普通插补估计中的平滑偏差,这正是均值方程还要再做一次正交化的原因。

灵活性有保护,也有价格

模拟结果呈现的不是“全面胜出”,而是偏差与方差的交换。

在参数模型设定正确的场景中,参数化方法能利用更强的结构,半参数方法会损失效率。论文的 MNAR-I 模拟里,正确设定的 PML 参数方法偏差很小;推荐估计量的 RMSE 比 PML 高。相反,当协变量选择函数与结果同时含有参数模型漏掉的非线性部分时,PML 的偏差上升,而推荐方法的偏差在该组模拟中保持较小。作者把这解释为对协变量部分误设的一定保护,而不是一般性的稳健保证。

另一组模拟更直接暴露边界。MAR 场景中,推荐估计量 OP.mi⊥ 的 RMSE 为 0.0816;饱和协变量参数方法 PMLd 为 0.0788,而正确利用 MAR 假设的 CLW 为 0.0380。允许结果依赖选择,在这里相对 PMLd 代价不大,但比直接施加正确 MAR 假设更低效。

当工具变量排除限制失效时,灵活性无济于事。在 GMAR 场景中,OP.mi⊥ 的偏差为 0.3181;在同时存在结果依赖和工具变量直接效应的 INV-IV 场景中,偏差为 0.4634。论文因此明确说,这套方法展示的是偏差—方差权衡,不是对无效工具变量的稳健性。

作者还基于 5 万条韩国 national health-screening records 构造模拟。这里保留真实记录的联合分布,但人为施加抽样和选择机制,并不是在验证健康筛查项目真实的参与机制。按论文摘要,在基准工具变量集合下,该方法比参数化竞争者偏差更小、RMSE 更高;换用不同工具变量集合时结果波动较小。不过材料没有给出这些差异的具体幅度,不能据此概括为“整体效果更好”。

为什么值得关注

这项工作的价值不在于宣布一种万能融合器,而在于把几个常被混在一起的问题分开:样本大不等于代表性强;协变量加权无法自动处理结果驱动的入样;识别、辅助模型拟合和总体均值推断也不是同一件事。

它还提醒我们,模型更灵活只是在“协变量函数可能写错”这一处少押注。识别所需的工具变量、线性结果倾斜和条件完备性仍是实质假设。半参数方法减少了一类模型风险,却没有让不可观察的选择机制凭空变得可验证。

局限与未知

  • 全部结论来自同一篇 arXiv 预印本。模拟每组使用 500 次重复,但尚无第三方复现或真实应用验证。
  • root-N 推断依赖识别条件、辅助模型乘积收敛速度、有效工具变量等前提。弱工具变量会让估计方程变平,平滑参数选择也会影响精度和区间覆盖率。
  • 无效工具变量、错误的倾斜形式以及持续生效的倾向概率截断都会带来不利后果;正交化和交叉拟合不能修复这些结构性错误。

供稿材料 SOURCES — 1

← 返回 2026-11-05 · 数据板块