训练强化学习(RL)像培养一名靠比赛得分调整打法的选手:预算加到百倍,成绩会涨多少,钱该花在更大模型还是更多练习上,过去很难提前判断。Zeyu Zheng 等人尝试为它寻找“扩展定律”——从便宜的小实验中总结规律,再预测昂贵训练的回报。他们在 Starpilot 和 Craftax 两个程序生成的环境中测试 A2C(一种同时学习行动策略和局面价值的算法),作者称,所得规律能预测高出一至两个数量级、即最高约百倍训练算力下的表现、资源分配和超参数。超参数就是训练前由人设定的“旋钮”,如学习率和批量大小。
最关键的一步,是换掉常用的平均回合奖励。奖励曲线不够平滑,很难外推;团队改用单智能体版 Elo——把不同训练规模的智能体按相对强弱换算成分数——结果更稳定、更适合拟合扩展规律。不过,这并非“算力越多,一切都按直线变好”:Craftax 中最省算力的模型大小曾出现局部反向变化。作者因此明确反对把这套规律推广到任意 RL 环境。它目前更像一张经过两个环境验证的预算参考表,而不是普遍定律。