教材不够，却还有算力，就像把同一本书再读几遍：第二遍往往有用，但读到第十遍还值不值？Chai 与 Xiong研究了多轮预训练——让模型反复学习同一批数据——并用扩展律（描述模型、数据、计算量与效果关系的经验公式）给重复 Token 定价，帮助判断预算该投向更大模型还是更多训练轮次。
论文最具体的发现是：第二轮看到的重复 Token，价值约为新 Token 的 0.87—1.02 倍；此后收益逐步递减，到一个“临界轮次”时，平均价值降至新数据的一半。这个临界点主要随“每个参数获得的训练预算”增长，几乎不随模型大小变化。不过，若固定语料库，最佳训练轮次会随模型变大而下降：从 1.27 亿参数时约 15 轮，降到 20 亿参数时约 4 轮。说白了，大模型并非天然更怕重复，关键是它相对于自身规模还能分到多少不重复的新材料。
作者还发现，次数相同不代表效果相同：把同一数据块连续重放，损失最高增加 0.46 bits per byte；把重复集中在少数样本上也更差。这说明规划预训练时，除了算“看几遍”，还得算“怎么重复”。