你让机器人把手机放进支架。它伸手、碰偏、手机滑了一下。普通模仿学习系统往往只知道“专家当初怎么做”,并不真正理解这次动作哪里不好,也未必会把失败变成下一次的经验。Motus2想补上这块:动手前先预演几种结果,判断哪一种更接近目标;动手后再利用成功、失败和不够好的尝试继续改进。
这项工作值得现在看,不是因为机器人已经能够像生物一样自行进化,而是因为它试图把感知、预测、行动、评估和学习装进同一套系统。论文将它称为“self-evolving general world model”,即“自我进化的通用世界模型”。这里的“自我进化”特指反馈驱动的策略改进,范围远比这个名字听上去窄。本文数字与效果均来自作者论文,尚无独立信源验证。
一个模型,兼任三个角色
世界模型可以理解为机器人的内部预演器:它估计“如果这样动,接下来会看到什么”。但只会预演还不够。机器人还得提出动作,并判断预演出的结果究竟好不好。
Motus2用一套共享参数提供三个接口。policy(策略)根据当前观察提出若干段候选动作;simulator(模拟器)预测每段动作可能造成的视觉后果;evaluator(评估器,也叫价值模型)判断这些后果让任务前进了多少。三者依次回答:做什么、会怎样、值不值得。
这像是在拿手机前先想出几种手势,在脑中快速播放每一种结果,再选最稳的一种。机器人执行后会看到真实结果,并据此重新规划。作者把这种方式称为 Best-of planning:从多个候选方案里挑评分最高的一个,而且每执行一段就根据新观察再算一次,减少长期想象偏离现实的风险。
关键不只在“挑动作”。规划只能从现有候选中选优,不能改变机器人以后会提出什么。Motus2还用模型式强化学习更新策略:强化学习是依据结果好坏调整行为的方法;“模型式”意味着这里先借助内部模拟结果训练,不必让每个候选动作都在真实机器上试一遍。高分候选把策略往相应动作方向拉,低分候选则把它推开。模拟器和评估器在这一阶段保持固定,更新的是动作相关部分。
失败不再只是废料
传统动作模仿高度依赖精选的成功示范。问题是,机器人采集成本高,而失败动作若直接拿来模仿,又会教坏策略。
Motus2把不同轨迹分流处理。精选的成功轨迹用于学习动作;失败、次优和与任务无关的交互不作为模仿目标,而是用来学习两件事:某个动作会造成什么变化,以及这种结果对完成任务有没有帮助。换句话说,失败不能教机器人“照着做”,却能教它“这样做会出什么事”。
为此,作者给成功轨迹的不同片段标注相对任务进度,失败或无关片段则作为负面监督。评估器由此学习判断候选动作是否推动任务。论文所说的闭环,就是策略提出动作、模拟器预测后果、评估器给分,再把分数送回策略更新。
它从哪里学会动手
灵巧操作不只是抓住物体,还包括调整握姿、对准零件、转动物件等连续细动作。手指会遮住物体,轻微滑动也可能改变结果,单靠当前一帧画面很难判断全局。
Motus2的数据训练分层推进。作者先用大规模单目第一视角视频学习广泛的人类手物交互,再加入同步双目数据,让两个视角提供隐含的深度线索;随后用机器人轨迹做领域适配,并补充人机对齐数据,把人的动作经验转向机器人的身体条件。论文称其第一视角语料约13万小时,机器人中期训练数据超过100小时,另有数十小时人机对齐数据。
在五项真实机器人任务中,未经第一视角预训练的 WAN-SFT 平均成功率为0%;加入第一视角预训练后,Pretrain-SFT 达到51%;再经过机器人领域中期训练的 Motus2 达到84%。这些比较采用相同的目标任务监督微调数据和评测协议,每项任务20种初始配置。它说明这套训练路线在作者设置下有明显收益,但不能单独证明每个数据阶段分别贡献了多少。
作者还用2千、4千、1万和2万小时的双目数据训练,并在彼此不重叠的留出轨迹上测试人类动作预测。数据越多,最优验证误差越低,在这一区间内大致呈对数线性趋势。这是动作预测误差的扩展现象,不等同于真实机器人成功率会按同样规律增长。
“自己改进”到底带来多少
作者在 Put Phone 和 Multi-Finger 两项真实任务上拆开测试规划与策略更新。基础 Motus2 的平均成功率为65.0%;只加入候选规划为67.5%;只做模型式强化学习为72.5%;两者同时使用达到75.0%。也就是说,在这组实验里,规划贡献2.5个百分点,策略更新贡献7.5个百分点,两者可以叠加。
Motus2还处理两个容易被视觉忽略的问题。一是记忆:固定滑动窗口只保留最近观察,早先的重要画面会被挤掉。作者因此研究了保留全部历史的 global autoregression,以及把早期关键帧、近期画面和压缩记忆结合起来的 hybrid memory。二是接触:视觉未必看得出指尖是否打滑,所以系统加入轻量触觉模块,在动作真正执行前,用最新触觉信号细调接下来的一小段动作。论文称系统部署在具有双目视觉、双臂、双灵巧手和触觉感知的平台上。
为什么值得关注
Motus2最有意思的地方不是某个单项成绩,而是它重新安排了机器人经验的用途:好示范负责教动作,普通甚至失败的交互负责教后果与价值。世界模型也不再只是生成一段看起来合理的未来视频,而是进入动作选择和策略更新的闭环。
这让“世界模型走向智能体”变得更具体。判断标准不再只是它能否想象未来,而是想象能否影响下一步行动,行动结果又能否反过来改变策略。Motus2给出了一套完整工程路径,也展示了这条路径在有限任务上的初步收益。
局限与未知
- “self-evolving”“general”和“fully biomimetic”都是作者用语,定义较宽。现有证据支持的是受训练流程约束的闭环策略改进,不是机器人能够无约束地自主设定目标或持续进化。
- 主要结果来自五项真实机器人任务;规划与策略更新的拆分实验只覆盖其中两项。每项真实任务20次测试,样本规模仍有限,论文材料也未提供统计显著性。
- 三个接口共享参数,但共享并不自动等于更强。现有对照主要支持整套预训练、中期训练与闭环方案在作者设置下有效,尚不足以分别确认每项设计的独立贡献或外部泛化能力。