Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.119 — 2026-10-31
PAPER 约 1 分钟

数据精选是在提速,还是抬高上限

数据精选不一定抬高模型上限,关键看训练内容与目标任务是否存在可纠正的偏差。

给学生换一套更精炼的教材,他可能更快考到 80 分;但要让他从 80 分升到原来达不到的 90 分,教材还得纠正“平时学的”和“考试要考的”之间的偏差。这篇论文用同样的视角审视数据精选——从海量预训练材料中筛选内容、调整比例:它究竟让大模型更快学会,还是让模型最终学得更多?

作者把前者称为“加速”,即用更少数据达到原本也能达到的成绩;后者称为“抬高上限”,即在训练充分后仍有优势。论文的关键判断是:只有未经精选的数据与目标任务之间存在可纠正的“训练—目标偏差”,精选才有机会抬高上限。若训练目标本就与最终评价目标一致,复杂的筛选或配比仍可能缩短学习过程,但优势会随训练预算增加而消退。

更实用的一点是,作者提出可从一次基线训练中比较训练损失与目标损失,提前诊断是否存在这种偏差,再决定值不值得投入昂贵的数据工程。作者称,真实大模型的数据配比与样本筛选实验都支持这一判断;不过,存在偏差只是抬高上限的必要条件,并不保证任何精选方法都能成功。


供稿材料 SOURCES — 1

← 返回 2026-10-31 · 学术板块