一份收入调查里,漏答者的数字都被机器学习补上了,表格看起来完整,结论却未必可靠。原因是,预测值也会出错;若直接把它们当真,误差会进入总体均值,还可能让误差范围显得过窄。Dagdoug 和 Haziza 因此把重点从“填得像不像”转向“估得准不准”。
他们采用交叉拟合的 AIPW:前者让模型在一批样本上训练、去另一批样本上估计,减少重复使用数据造成的过拟合;后者同时利用“某人会不会漏答”和“其答案可能是多少”两套模型。在论文给定条件下,只要其中一套模型正确,估计仍可保持一致;两套模型都足够准确时,还能支持渐近正态的误差推断。
最实用的一步是,作者又把去偏后的估计反写成一组调整过的填充值:已回答的数据保持不动,整张表的加权均值则与 AIPW 结果完全一致。模拟中,交叉拟合可明显减少置信区间覆盖不足,但当辅助模型预测不准时,也可能增大均方误差。