你隔着屏风推一个物体。向左推和向右推,眼前的画面可能都没什么变化,但屏风后面的物体已经到了不同位置。几步之后,一种推法能完成任务,另一种会把路彻底堵死。一个只会生成“看起来合理”的未来画面的机器人,很可能分不清两者。
这正是 Todd Y. Zhou 与 Daniel Zhang 的论文想解决的问题:在只能看到局部环境时,世界模型不能只预测接下来像什么,还要回答“如果换个动作,后果会不会不同”。作者把这种能力称为反事实充分性,并提出 Counterfactual Latent World Models(CLWM)。本文所有实验结果均来自作者报告,尚无独立复现。
画面合理,不等于动作可靠
世界模型可以理解为智能体脑内的一台模拟器。它先学习环境如何变化,再让机器人在真正行动前试演多套方案。现实交互昂贵,也可能危险,因此先在“脑内”规划很有吸引力。
问题在于,常见训练方法很重视预测画面,却未必保留行动所需的信息。作者把由此产生的失效称为 counterfactual collapse(反事实坍塌):模型生成的几个未来在视觉上都说得通,但它把后果不同的动作压缩成了相近的内部状态。
这在部分可观测环境里尤其麻烦。部分可观测,就是机器人每次只能看到环境的一部分,像站在门外看不清房间全貌。迷宫里,两条走廊可能长得一模一样,却位于地图的不同位置;操作台上,物体可能被遮住,一次推击有没有碰到它,当前画面也未必能说明。机器人必须结合此前看过什么、做过什么,推断眼下看不见的状态。
这里还要区分两件事。论文所说的“反事实”,是从同一个起点试演不同动作序列,并区分它们的结果。它没有证明模型获得了普遍的因果推理能力,也不声称恢复出完整的因果结构。因此,“学会反事实推演”更准确的含义是:学会保留规划真正需要的动作后果差异。
关键一步:专挑“长得像、后果不同”的未来
CLWM保留了现代潜在世界模型的基本思路。它先用 recurrent belief-state encoder(循环信念状态编码器)把当前观察和历史线索汇总成一个“信念状态”——也就是对真实处境的内部估计。接着,action-conditioned latent dynamics(动作条件潜在动力学)在压缩后的内部空间里试演不同动作。
“潜在”或“表征”,指模型把画面、动作和历史压缩成的一组内部特征,类似一份便于计算的场景摘要。关键不在摘要能否复刻每个像素,而在它是否保存了做决定所需的信息。
CLWM真正改变的是训练压力。它从同一信念状态出发,采样多套候选动作,让模型在没有未来真实画面提示的情况下开放式推演。若两套动作最后造成不同结果,模型就应把它们的未来表征拉开;若视觉细节不同但行动结果相同,则可以拉近。
作者使用三类“困难反例”。第一类比较同一信念状态下的不同动作。第二类专找视觉很像、隐藏结果却不同的未来,即 perceptual-alias negatives(感知混淆反例)。第三类寻找画面重建误差不大、预测价值却不同的方案。说白了,它不让模型靠“画面差不多”蒙混过关。
这种训练还需要 intervention-outcome labels(干预—结果标签),告诉模型某套动作究竟导致了什么。在模拟环境中,标签可由平时对智能体隐藏的完整状态提供;现实中则可能依赖物体追踪、触觉事件、任务判定或少量人工标签。训练结束后,用于对比学习的投影头和困难反例挖掘都会移除,规划器直接使用已经塑形的潜在动力学,因此作者称其不增加部署阶段的计算步骤。
三组任务里,它少走了多少弯路?
作者把CLWM与五类潜在世界模型比较,包括以画面重建为主的RSSM、加入奖励预测的版本、通用对比学习模型,以及Dreamer-style和TD-MPC-style模型。
在 Occluded Push 中,机械臂要把可能被遮挡的物体推入目标区域。CLWM的成功率为74.6%,最强基线TD-MPC-style为65.1%,提高9.5个百分点。在走廊外观反复雷同的 Aliased Maze 中,成功率从最强基线的67.3%升至78.9%,提高11.6个百分点。这两项任务都要求模型记住眼前画面没有直接显示的状态。
更值得注意的是 Deferred Kitchen。这个长流程操作任务中,早期动作会悄悄改变后续步骤能否完成。最强基线有18.4%的失败属于“利用模型错误”:规划器在想象中给某条路线打出高分,真实环境却不买账。CLWM把这一比例降至9.7%,接近减半。它改善的不只是平均成绩,也减少了模型过度乐观地选择无效方案的情况。
消融实验进一步指向困难反例。去掉感知混淆反例后,推物和迷宫成功率分别降至67.5%和69.1%,厨房中的利用模型错误升至16.8%。只用随机反例也明显落后于完整模型。作者据此认为,增益主要不是来自“用了对比学习”,而是来自刻意比较那些看起来相似、行动后果却不同的案例。
一个比画质更贴近规划的体检指标
论文还提出 counterfactual separability(CFS,反事实可分离性)。它衡量模型内部的不同动作未来,是否会随实际干预结果的不同而分开。作者在五类未针对CFS训练的基线模型上观察到,CFS与规划成功率的相关系数均不低于 。
这个结果的价值在于,它提供了一个不同于“未来画面像不像”的检查角度。一个编码器即使擅长识别画面和语义,也不必然适合控制身体与环境互动。具身推理——智能体结合身体、环境和动作后果来思考——需要的不是最漂亮的预测,而是不会漏掉那些会改变选择的差异。
作者称CFS不依赖特定表征形式:只要能得到动作条件未来和干预—结果标签,就可检查从头训练、微调或冻结的编码器。不过,这更像待验证的使用建议,而非已经得到大规模实验证明的结论。
局限与未知
- 全部数字均为论文作者自报。实验表给出了波动值,但材料未交代重复次数、统计显著性等完整口径;也只覆盖五类基线,不能视为普遍规律。
- CLWM依赖可靠的干预—结果标签,还要为每个信念状态试演多套动作并挖掘困难反例。现实环境中的标签获取和额外训练成本仍是门槛。
- 作者只在从头训练的世界模型上测试,尚未对大规模预训练编码器测量CFS。论文也明确表示,它没有解决长程误差累积、探索、分布变化或奖励设定错误。