给学生换一套更精炼的教材,他可能更快考到 80 分;但要让他从 80 分升到原来达不到的 90 分,教材还得纠正“平时学的”和“考试要考的”之间的偏差。这篇论文用同样的视角审视数据精选——从海量预训练材料中筛选内容、调整比例:它究竟让大模型更快学会,还是让模型最终学得更多?
作者把前者称为“加速”,即用更少数据达到原本也能达到的成绩;后者称为“抬高上限”,即在训练充分后仍有优势。论文的关键判断是:只有未经精选的数据与目标任务之间存在可纠正的“训练—目标偏差”,精选才有机会抬高上限。若训练目标本就与最终评价目标一致,复杂的筛选或配比仍可能缩短学习过程,但优势会随训练预算增加而消退。
更实用的一点是,作者提出可从一次基线训练中比较训练损失与目标损失,提前诊断是否存在这种偏差,再决定值不值得投入昂贵的数据工程。作者称,真实大模型的数据配比与样本筛选实验都支持这一判断;不过,存在偏差只是抬高上限的必要条件,并不保证任何精选方法都能成功。