Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.099 — 2026-10-11
PAPER 约 1 分钟

隐藏物体还存在吗?V-JEPA接受遮挡测试

遮住小球后,V-JEPA 2很快“忘掉”它;这项测试把追踪能力与物体恒存拆开了。

把一只球放进盒子再合上盖子,人会自然认为球还在。视频模型却可能只在球看得见时会追踪,一被挡住就当它消失。这项研究用“物体恒存”测试检查 V-JEPA 2:它是一种视频世界模型,会根据已有画面预测场景变化。研究者冻结模型,遮住小球所在区域,再比较模型的内部预测更像“球仍在”还是“球已消失”的世界。

结果很尖锐:对运动中的小球,三个规模的 V-JEPA 2 都在遮挡后 0.3 秒内失去它;但编码器——负责把画面转换成内部数字表征的部分——仍能以 1.00 的结果读出小球是否存在,并在盒子关闭后的 3.5 秒内保留其内容信息。也就是说,信息并非完全没被看见,主要是预测器没有把它继续带下去。

这也不是模型结构注定的缺陷。作者称,继续训练 1.6 万步后,运动物体可被保留约 1.1—1.6 秒;仅训练预测器 3000 步,也能让“球仍在盒中”的判断从 0.05升至1.00。值得留意的是,IntPhys-2019 基准分数虽从84.2%升至93.3%,不含容器的训练也能带来提升,说明基准高分未必等于模型真的形成了物体恒存表征。


供稿材料 SOURCES — 1

← 返回 2026-10-11 · 学术板块