Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.103 — 2026-10-15
PAPER H 25 约 1 分钟

贝叶斯模型比较引入外部预测器

PC-LOO用合成数据把外部预测器接入贝叶斯模型比较,同时保留可解释的误差边界。

比较几个模型,就像让几位选手轮流做“没见过的题”:每次藏起一条数据,看谁预测得更准。传统贝叶斯留一交叉验证(LOO)主要依靠候选模型自己的后验预测分布——也就是把参数的不确定性一并算进去的一组可能结果。Montcho 和 Filippone 提出的 Predictive-Context LOO(PC-LOO),则把外部的预训练预测器请进了考场。

它最巧的一步,是先用完整数据拟合贝叶斯模型一次,再从模型的后验预测中生成合成数据,把这些数据当作“上下文”交给外部预测器,由它估计每条被留出观测的预测概率。论文证明,在理想条件下,只要上下文来自对应的留一后验,并使用匹配的贝叶斯预测器,对多组上下文的结果取平均,就能精确还原原本的 LOO 预测;而且任意固定大小的上下文子集都成立,数据集规模不必受预测器上下文容量限制。

实际版本会用完整后验代替留一后验,并用预训练模型代替理想预测器,因此误差主要来自“删掉一条数据有多大影响”和“外部预测器是否兼容”两处。作者用 TabICL 的实验指出,前一种影响会随数据增多而减弱,后一种却可能继续成为瓶颈。值得注意的是,模型排名取决于候选模型之间的误差差值,而非各自误差的绝对大小;这让 PC-LOO 即使没有逐点精确,也仍可能保住比较结果。


供稿材料 SOURCES — 1

← 返回 2026-10-15 · 数据板块