像考试前拿原题练习，再用同一批题给自己打分，成绩往往虚高。用机器学习从观察数据估计“处理是否有效”也有类似风险：模型若在见过的数据上预测，过拟合会把偏差藏进结果。Karim 与 Fu 比较了 TMLE 和 AIPW——两种用处理概率与结果预测校正组间差异的方法——的多种实现，发现切样并非无关紧要的程序设置。
最醒目的结果来自随机森林实验：若处理概率模型仍在原样本内拟合，标称 95% 的置信区间覆盖率只有 0.12–0.48；同时对处理概率和结果模型做交叉拟合——轮流留出一部分数据，只用其余数据训练——后，覆盖率升至 0.91–1.00，其中两种方法又偏保守。简单模型且处理组、对照组可比性较好时，多数方法则接近，覆盖率为 0.928–0.939。论文还提醒，TMLE 的定向更新方式和重复切分也会改变波动，但任何实现都无法补救未测量混杂等基本假设。