先学看，再学做，问题出在哪
想象你在教机器人挂工具：先让它看大量画面，学会分辨物体；等这套视觉系统练好并固定下来，再教它该怎么移动机械臂。流程看起来合理，问题是，前一阶段觉得重要的东西，未必是完成动作真正需要的东西。模型可能很会概括画面，却没有保留夹爪位置、接触变化或下一步动作所需的信息。
LeWAM要解决的正是这种目标错位。它把视觉表征、环境变化预测和动作学习放进一次端到端训练——也就是让各部分围绕同一个控制目标共同调整，而不是分别练好后再拼装。论文由Minghao Fu、Tavis Siebert、Eryk Halicki和Randall Balestriero共同完成。下文的实验结果均来自作者论文，尚无独立复现或第三方交叉验证。
不画下一帧，先抓住“接下来会怎样”
LeWAM建立在JEPA（Joint-Embedding Predictive Architecture，联合嵌入预测架构）之上。普通的视频预测容易把任务变成“画出下一帧”：光影、纹理和背景都要还原。JEPA换了一个目标。它先把画面压缩成潜在状态——一组概括当前环境的内部数字——再预测未来的潜在状态，而不是逐像素重建图像。
这相当于记下“夹爪在杯子左侧，杯子靠近桌边”，而不是临摹整张照片。对控制来说，这种内部速记可能更紧凑。但“紧凑”不等于“有用”。论文指出，已有JEPA流程常先学习视觉表征和动作条件动力学，再额外接入控制策略或求解器。前面的表示如果没有受到动作目标约束，就可能偏爱长期不变的干扰信息，或保留许多与控制无关的画面细节。
LeWAM把两个任务放到同一次训练中：一个任务预测采取动作后的下一潜在状态；另一个任务学习动作分布。前者让模型形成世界模型——在内部预演“这样做之后，环境会怎样”；后者则回答“在这个状态下，哪些动作像合理选择”。两边共享视觉表征，所以动作监督能反过来告诉视觉系统：什么值得看，什么可以忽略。
它不是只猜一个动作
LeWAM用action flow matching学习随机策略。Flow matching可以理解为：模型从一团随机噪声出发，逐步把它推向合理动作。这样学到的不是唯一答案，而是一整套可能的动作分布。
这对机器人很重要。同一个目标经常有多条可行路径。若模型只用均方误差预测一个动作，它容易取多个示范的平均值；这个“平均动作”未必对应任何真正可行的选择。论文以双门导航实验说明，LeWAM能显式呈现多峰动作分布，也就是同时保留不同路线。
模型还用SIGReg约束潜在状态接近各向同性高斯分布。直观地说，它要求内部表示不要挤成一团，并让各方向保持较均衡的信息。作者的消融实验显示，移除SIGReg后，三个展示任务的规划成功率都下降，其中Push-T下降25.3个百分点；加入SIGReg带来的规划增益为14.7个百分点，不加入时只有2.7个百分点。这说明动作监督可以帮助避免表示坍缩，但若要让潜在距离真正适合比较目标状态，额外的分布约束仍然重要。
同一个模型，可以直接做，也可以先想
LeWAM提供两种控制方式。
第一种是直接执行策略。模型根据近期观察生成一段动作，执行前半段，再读取新画面并重新生成。这适合没有明确目标图像的行为克隆——行为克隆指从人类或专家示范中模仿整套操作。
第二种是规划。模型先从自己学到的动作分布中抽取若干候选方案，再用潜在动力学预演每套方案的结果。随后，它沿着“预测结果与目标潜在状态的距离”反向调整动作，选出代价最低的候选。执行一小段后，模型重新观察、重新规划。这就是滚动式的模型预测控制。
关键区别在起点。传统方法若从宽泛的高斯噪声中搜索动作，维度和规划长度一增加，就需要大量试跑。LeWAM先用学到的策略提出较靠谱的候选，再用世界模型细修。像是先由熟悉任务的人给出几条路线，再逐条校准，而不是从所有可能动作里盲搜。
数字说明了什么
论文在十个仿真导航与操作环境中测试视觉规划，数据同时包含专家示范、随机交互和质量不一的轨迹。按照作者汇总，在接触丰富的任务上，LeWAM相较此前用于视觉规划的JEPA，把成功率从28.6%提高到89.7%。这类任务的难点在于，机械臂一旦碰到物体，环境变化方式可能突然切换，局部优化更容易走错。
在四个把目标推得更远的长时程任务上，平均成功率从10.9%提高到46.2%。作者还报告，四个视觉目标任务中的规划速度为对比方法的32.3倍。论文将加速归因于两点：学到的动作分布缩小了搜索范围；梯度优化又能利用GPU并行处理候选方案。
在不提供目标图像的仿真行为克隆中，LeWAM在三项复杂操作任务上与Diffusion Policy比较，其中两项表现相当，并在Transport上高出16个百分点。实体机器人实验覆盖Pick and Place T、Push-T和Tape Stack。作者称，从头训练视觉编码器的LeWAM与使用冻结V-JEPA 2.1特征的版本平均成功率相近，整体可与论文所选基线竞争。不过供稿中的实体机器人表格有部分数值缺失，因此不宜据此做更细的排名判断。
为什么值得关注
LeWAM最有意思的地方，不只是某个任务分数更高，而是它改变了世界模型与策略之间的分工。过去，世界模型负责预测，策略或在线求解器负责行动，两者往往分阶段训练。LeWAM让“预演后果”和“提出动作”共同塑造同一套视觉表示。
这也让一套约1690万参数的模型同时承担两种角色：熟悉任务时可以直接行动；需要更谨慎时，可以调用学到的潜在动力学评估并修正候选动作。论文的线性探针分析还显示，内部表示可以解码出物理状态、本体感知信息和动作信息；记录动作的开放环路预测则表明，联合学习动作没有破坏世界建模，并可能强化与夹爪和物体有关的部分。
局限与未知
- 所有核心效果都来自同一篇论文。28.6%到89.7%、10.9%到46.2%以及32.3倍加速，不能直接外推为所有机器人任务上的优势；判断这些数字还需要结合任务数量、硬件、规划预算、统计波动和基线设置。
- 训练数据规模有限，模型还按任务和机器人形态分别训练或适配。论文尚未证明它能稳健迁移到陌生物体、相机视角、接触状态或另一种机器人。
- LeWAM主要处理低层连续控制。更长、更复杂的任务仍可能需要高层规划器先拆成子目标；实体部署也需要独立的安全机制。