你戴着摄像头，伸手拿起杯子。视频清楚记录了手往哪里走、杯子何时离开桌面。但它没有直接告诉 AI：杯子多重，手用了多大力，接触面有多滑。于是，模型可能把手画得很准，却猜错杯子接下来怎么动。
这正是论文《What 30,000 Hours of Ego-centric Video Does Not Teach》追问的问题：只要继续扩大第一视角视频——由头戴式摄像头记录、近似人眼所见的视频——世界模型是否就能学会可靠的物理交互？世界模型在这里指一种预测系统：给它初始画面和动作，它生成接下来会发生什么，可用于模拟环境或帮助智能体规划行动。
作者训练并评测了 Cosmos 3 视频世界模型，数据最多达到 3 万小时。结果并非“什么也没学会”：模型越来越会预测人的动作。但它对动作如何改变物体，学得明显更差，而且很早就显出增长放缓的迹象。标题里的“教不会”因此是一种强调冲突的概括，而不是说模型完全不懂世界规律。
本文数字与结论均来自论文作者的实验，尚无第三方复现或独立评测。
先把“人”和“东西”分开考
以往评测常把画面质量、动作预测和任务成败揉成一个总分。总分上涨，并不能说明模型究竟学会了什么。画面可以很逼真，杯子却可能在被推动后停错位置。
这项研究把问题拆成两部分：一是智能体保真度，即模型能否正确生成手和身体的运动；二是物体保真度，即被拿、推、碰之后，物体是否按正确方式变化。后者更接近真正的交互理解。
研究使用约 115 万段第一视角视频，共 3 万小时，来自 14,019 名参与者，覆盖 116 类环境、1,106 类场景和 32,051 项任务。作者按 300、3,000、10,000、20,000 和 30,000 小时逐步扩大训练规模。
考试还特意换了题型。评测视频来自另一轮采集，设备、地点和参与者都与训练集不同。这叫分布外评测——类似学生练完例题后，考试改用陌生场景和组合，用来判断模型学到的是可迁移规律，还是只熟悉训练资料。
作者采用 SCS 衡量结构一致性：分别追踪预测视频与真实视频中的手和物体，再比较它们所占区域是否重合。由于追踪工具本身有误差，智能体和物体的可测上限分别约为 0.93 和 0.90。
多看一百倍，主要学会了“人怎么动”
从 300 小时扩展到 3 万小时，数据量增加 100 倍，智能体和物体保真度都提高了。但两条曲线走得很不一样。
智能体 SCS 在前十倍数据中增加 0.12，从 3,000 小时到 30,000 小时却只再增加 0.06。作者拟合出的上限约为 0.811，说明继续加数据带来的收益正在缩小。
问题在于，动作条件最初只是姿态和关节角度等数字，模型还得自己推断这些数字在画面里对应什么位置。作者因此加入“骨架条件”：先把手、肩、肘等关节投影到画面上，并用颜色深浅编码远近，相当于直接告诉模型“身体下一步会出现在这里”。
这个改动非常有效。带骨架条件的 Nano 模型只用 300 小时，就达到普通版本约 15,000 小时才有的智能体保真度，数据需求相差约 50 倍。可两种方案最终仍收敛到相近水平，分别约为 0.800 和 0.811。换句话说，更多视频主要是在帮模型解决“数字动作怎样落到画面上”，并没有抬高它预测人体运动的最终上限。
骨架条件也让研究者能更干净地观察物体：既然人的动作已经接近上限，物体预测的提升就不容易被“手画得更准”混淆。
真正的短板，是动作造成的后果
在骨架条件下，物体 SCS 从 300 小时扩展到 30,000 小时只提高 0.09。前十倍增加 0.056，后十倍仅增加 0.035。作者拟合的物体上限为 0.565；到 3 万小时，模型已经达到这一上限的 93%。按各自可测范围归一化后，智能体达到约 86%，物体只有约 63%。
增大模型也没有轻易填平差距。参数规模扩大 4 倍后，智能体保真度几乎不变，物体上限仅提高 0.034。论文据此作了一项外推：若每次扩大 4 倍都能保持同样收益，要补上与智能体上限之间约 0.205 的差距，还需大约六次四倍扩张，也就是约四个数量级的参数增长。作者同时说明，这是建立在线性收益不衰减假设上的估算；现实所需规模只可能更高。
这组结果动摇的是一个很直接的设想：只要让模型看足够多的视频，它迟早会自己悟出物理规律。第一视角视频确实记录了“发生了什么”，却未必包含足够信息解释“为什么这样发生”。质量、摩擦和刚度无法总从单帧画面判断；最关键的接触点又常被手遮住；力和接触本身更不会直接出现在像素里。
训练目标比继续堆视频更关键
普通视频生成训练很容易把注意力花在画面中面积大、变化稳定的部分，例如背景和整体外观。真正决定交互结果的物体与接触区域往往很小，还会被遮挡。
作者提出“物体中心的自适应噪声调度”。简单说，他们先追踪画面中真正发生运动、且靠近手部的区域，再给这些区域加入更强噪声。模型不能只沿用局部外观，只能更多依赖上下文和动态关系来还原物体。它像是把考试中最关键的小题故意擦模糊，迫使学生理解过程，而不是照抄字形。
在 10,000 小时实验中，单纯提高这些区域的损失权重几乎没有帮助；把高噪声区域随机放置，也丢掉了大部分增益。只有把额外噪声放到动态区域，物体保真度才明显改善。最终方案的物体 SCS 为 0.532，骨架基线为 0.513；感知画质指标 LPIPS 基本不变。
到 30,000 小时，作者的方法把物体 SCS 从 0.527提高到 0.546，增幅为 3.7%。它抬高了物体曲线的上限，却仍远低于智能体水平。这说明训练信号的分配确实重要，但当前改法还没有解决根本问题。
为什么这值得关注
世界模型若要替代物理模拟器训练智能体，或帮助智能体预演候选动作，关键不是生成一段“看起来像真的”视频，而是正确预测动作的后果。手伸到了杯子旁边，不等于杯子被正确拿起；机器人姿态自然，也不等于环境响应可信。
作者还在人形角色任务上测试了迁移。与原始 Cosmos 3 相比，加入 3 万小时人类视频预训练后，手部 SCS 从 0.63升到 0.70，物体 SCS 从 0.70升到 0.73，成功判断一致率从 0.67升到 0.71。再加入骨架条件和新的监督方案后，三项分别达到 0.88、0.79 和 0.81。
但时间拉长后，熟悉的差距再次出现：最终模型的手部 SCS 从第 2 帧的 0.89降到第 16 帧的 0.85，物体 SCS 则从 0.82降到 0.71。模型仍然更清楚“手会去哪里”，不那么清楚“手会让世界发生什么”。
局限与未知
- 数据规模与训练步数同时增加，因此实验测到的是二者联合扩展的结果，不能单独归因于新增数据。
- 训练集与评测集虽彼此隔离，仍来自单一采集协议，评测规模也有限；拟合出的“上限”能否延续到 3 万小时之外尚未验证。
- 实验只研究会生成像素画面的生成式世界模型。无需还原画面的潜变量预测模型，是否更容易学到交互规律，仍是开放问题。
这篇论文给出的不是“视频数据无用”，而是一条更克制的结论：更多数据在所有已测规模上都有帮助，也能迁移到人形角色任务；但单靠收集视频，可能很快把“人怎么动”推近极限，却仍填不上“世界如何回应”的缺口。下一步真正稀缺的，或许不是更多观看时间，而是能把训练注意力指向因果、接触与物体动力学的方法。