像是机器人从一间屋走进另一间屋:行动规则没变,只是位置和布局换了,它本该直接用上旧经验。但这项研究发现,持续世界模型——会预测环境如何变化、并在环境持续变化时学习的内部“沙盘”——往往还没开始适应,就先输在零样本泛化上。所谓零样本泛化,就是不看新示例、不额外训练,直接应对没见过的环境。
作者在 FourRooms 任务中训练 Dyna-Q 和 TD-MPC,再让它们不更新参数,直接进入其他房间。最值得注意的是,迁移效果强烈依赖观察表示。用“位置+方向”描述环境时,模型在陌生房间的预测误差明显增大,尤其当坐标超出训练范围;改用对空间平移较不敏感的距离信息,表现则稳定得多,混合两类信息时介于两者之间。TD-MPC 的进一步诊断也显示,学到的内部表示不会自动保留跨环境通用的规律。
这意味着,持续学习不能只问模型变化后学得多快,还要先问旧知识能否在更新前派上用场。不过,实验仍是受控的 FourRooms 场景,距离表示也是作者刻意设计的乐观参照,尚不能直接外推到更复杂环境。