让机器人根据视频预想下一步,像让人边看监控边猜接下来会发生什么。问题是,视频越长,模型记下的画面越多,近期动作反而可能被旧信息淹没,预测也会逐渐跑偏。这篇论文指出,长程记忆的关键或许不是保存一切,而是决定什么值得继续占用有限的上下文。
作者提出 ReCAP:推理时保留最初的场景“锚点”,再留下最近一段完整的视觉—动作记录,同时删除更早的生成历史。这里的世界模型,是机器人用来预测“采取动作后环境会怎样变化”的简化模拟器。ReCAP 不拆散单个时间步中的画面与动作,也不重新训练模型,只调整模型每一步能看到哪些历史。
作者称,在 RT-1、BridgeV2、LIBERO-90 和 CALVIN 的冻结模型实验中,这种做法比保留全部历史更能维持画面质量、动作一致性和机器人结构,同时限制上下文持续增长。不过,论文也承认,现有分析尚不能把“旧记忆干扰”与上下文长度、位置处理等因素完全分开。