一张图压缩后看着几乎没变,插销与孔位的细小偏差却可能已经丢了。机器人偏偏靠这种细节行动。这篇研究追问:世界动作模型(WAM——同时预测机器人动作及其后续画面)沿用视频生成模型的 VAE 是否合适?VAE 是把图像压成数字表示、再尽量还原画面的工具;它擅长“重建得像”,却不一定保留控制所需的信息。
作者在同一套 WAM 和训练方案下,对比了 13 个预训练视觉编码器、5 种接入机制及多种特征组合。最值得注意的结论是:加入强大的通用视觉表征,通常比继续堆叠更多专用特征更重要;额外特征甚至可能因信息重复或相互干扰而降低表现。五种机制中,“按通道联合预测”取得最高平均成功率。按作者报告,据此形成的 R2-WAM 在 RoboCasa GR1 Tabletop 和 RoboTwin 2.0 上分别达到 84.7% 与 92.8%,比仅用 VAE 的基线高 5.9 和 2.2 个百分点。它把一个常被忽略的问题摆到台前:世界动作模型首先要选对“看见什么”,而不只是追求画面还原得多漂亮。