Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.119 — 2026-10-31
PAPER H 21 约 1 分钟

强化学习也有可预测的扩展定律

用小实验预估百倍算力下的RL表现,为昂贵训练先算清预算账。

训练强化学习(RL)像培养一名靠比赛得分调整打法的选手:预算加到百倍,成绩会涨多少,钱该花在更大模型还是更多练习上,过去很难提前判断。Zeyu Zheng 等人尝试为它寻找“扩展定律”——从便宜的小实验中总结规律,再预测昂贵训练的回报。他们在 Starpilot 和 Craftax 两个程序生成的环境中测试 A2C(一种同时学习行动策略和局面价值的算法),作者称,所得规律能预测高出一至两个数量级、即最高约百倍训练算力下的表现、资源分配和超参数。超参数就是训练前由人设定的“旋钮”,如学习率和批量大小。

最关键的一步,是换掉常用的平均回合奖励。奖励曲线不够平滑,很难外推;团队改用单智能体版 Elo——把不同训练规模的智能体按相对强弱换算成分数——结果更稳定、更适合拟合扩展规律。不过,这并非“算力越多,一切都按直线变好”:Craftax 中最省算力的模型大小曾出现局部反向变化。作者因此明确反对把这套规律推广到任意 RL 环境。它目前更像一张经过两个环境验证的预算参考表,而不是普遍定律。


供稿材料 SOURCES — 1
01
An Empirical Study of Reinforcement Learning Scaling Laws arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-10-31 · 学术板块