一套模型在一个数据集上排名靠前,换批数据还会如此吗?过去,这类“能否外推”的问题常停留在笼统判断。Federico Matteucci 和 Gerhard Neumann 提出核外部有效性(KEV),把它改写成一个概率:两次独立、规模相同的复现实验,其结果是否有足够大概率彼此接近。
这里的“接近”由最大均值差异(MMD)衡量。MMD借助核函数——一种按研究问题定义结果相似度的工具——比较两组结果的整体分布,而不必把复杂结果压成单个平均数。研究者先设定可接受的差异阈值,再计算复现结果落入阈值内的概率。框架也能处理带并列名次的排名,例如比较多个模型在不同测试条件下能否维持相近排序。
更实用的一步是,作者给出了实验规模与MMD分位数之间的渐近幂律关系,据此可用小规模预实验估算达到目标外部有效性所需的样本量。作者用既有案例和模拟研究展示了方法,并将代码收入 genexpy Python 模块;不过具体结论仍取决于核函数与容忍阈值如何设定。