装螺母时,机器人不仅要对准,还得在摩擦、倾斜甚至卡住后自己纠偏。通常,研究者会把“靠近了”“姿势对了”等过程提示写进奖励。AlphaNIST反其道而行:二元奖励只告诉机器人最终成功或失败,像练投篮只看球进没进,却要它自己找出整套动作。
作者在模拟环境中,让一个强化学习策略——通过反复尝试、按结果调整行为的控制程序——同时练习NIST Assembly Task Board #1上的20种装配。论文报告总体训练成功率为98.2%,且没有示范、分步脚本、过程奖励或逐任务调参。更具体的亮点是,策略自行出现了为后续装配选择抓法、借周围结构翻转零件,以及暂放一个任务、完成另一个再回来收尾等行为;在十组连续装配实验中,只有全部完成才给奖励,也不预先规定顺序。
这说明,多种任务共同训练或许不只是负担,也能提供可迁移的经验,减少人工编写奖励规则。不过结果来自模拟训练;论文材料没有披露真实机器人上的成功率。