想象一个生成式游戏:你先规定“猫拿到钥匙,门才能打开”。普通视频模型可能看到猫靠近门,就顺着常见画面把门打开了,忘了检查钥匙。BoxWorld换了一种分工:让世界引擎判断门该不该开,让视频生成模型只负责把开门、关门及其视觉效果画出来。
这项工作的价值不只在于生成更漂亮的游戏画面。它试图解决互动视频世界里的一个根本矛盾:模型既要自由生成不同场景,又要严格服从用户写下的规则。论文提出的路线很清楚——规则管“发生什么”,生成模型管“看起来怎样”。以下数字和结论均来自论文作者的实验,尚无第三方复现。
别让摄影师兼任裁判
世界模型,是根据当前场景和用户动作预测下一幕的模型,像在脑中预演接下来会发生什么。现有端到端世界模型通常把视觉历史和用户动作直接变成后续画面。所谓端到端,就是不把规则判断、状态维护和画面生成拆成可单独检查的模块。
这种办法灵活,却很难精确规定物体级规则。模型不仅要生成花瓣、光影和水花,还得自己记住花是否浇过水、猫是否拿到钥匙,并判断条件何时成立。BoxWorld认为,这些工作没有必要全塞进视频生成器。
它把系统拆成两部分。Box World Engine是世界引擎,负责保存状态、执行规则和计算交互结果;Box-State Generative Renderer是生成式渲染器,负责把状态变成连续视频。可以把前者看成编剧兼场务,明确谁在哪里、拿着什么、条件是否满足;后者则负责摄影、美术和特效。
三张小纸条连接两个世界
用户先写下规则,再由coding agent——能够编写代码的智能代理——基于共享模板创建对应的Box World Engine。论文实验中的引擎由Kimi K2.5生成。互动开始后,引擎持续接收用户动作,更新场景变量,并把结果送进一个轻量的“以物体为中心的状态接口”。
这个接口只传三类信息:布局框标出物体在画面中的二维位置;持久属性记录身份和外观,例如“红色小车”;动态状态记录当下变化,例如“正在充电”或“门已打开”。纹理、光照、风格以及烟雾和水花等效果,仍交给生成模型处理。
这种接口的巧妙之处在于克制。它没有要求引擎先搭出完整的三维世界,也没有让视频模型凭画面猜规则。引擎和渲染器异步运行:前者不断更新状态,后者每次生成新画面时读取最新状态。因此,一次状态更新会反映在接下来的帧里,引擎则可以继续处理用户操作。
渲染器采用自回归生成,也就是根据已经生成的画面逐步续写后面的画面。每一帧只接收属于当下的状态;空间遮罩则限制画面区域只能读取覆盖该区域的物体信息,避免一个物体的状态干扰整张画面。
先认物体,再学变化,最后练习接自己的画面
训练分成三阶段。
第一阶段从开放域视频学习“哪个描述属于哪个物体、物体位于哪里”。系统冻结原有视频模型,只训练状态信息与画面区域之间的连接。第二阶段改用4000段短游戏视频,学习状态切换:历史画面仍是旧状态,目标画面已经进入新状态,模型由此学习只改变受影响的物体,同时延续其余场景。
第三阶段解决训练与实际使用之间的落差。训练时,模型常能看到干净的真实历史;运行时,它只能接着自己生成、可能已有小误差的画面继续画。Rollout Distillation——可理解为让模型在自己的连续生成结果上再练习——使它适应这种真实工作环境,并恢复少步骤生成能力。
两类训练视频的状态都由现成感知模型自动提取,包括视频描述、物体检测、追踪和物体级描述,不需要配套的用户操作日志。推理时,系统以832×480分辨率、四步去噪运行。论文报告BoxWorld达到20.7 FPS;这里的FPS是每秒生成帧数,因此比摘要中笼统的“实时”更具体,但能否满足不同设备和交互场景,仍需结合实验条件理解。
规则拆出来,差距有多大?
作者为此建立了PairedStateBench。它把同一初始场景分成两个分支,只改变条件和预期结果。例如,一个分支里猫已经拿到钥匙,另一个没有。评测不仅检查该发生的事件是否发生,还检查不该发生的结果有没有被压住。
BoxWorld的事件触发率为92.2%,错误结果抑制率为90.5%;在一对分支都正确这一更严格的Paired-CF指标上达到97.3%,而论文列出的端到端基线最高为16.2%。完整多阶段任务的成功率为83.9%,基线最高为25.3%。即使把正确交互后果直接用文字告诉部分基线,它们的Paired-CF仍只有16.2%。这支持了论文的核心判断:知道结果该是什么,不等于视频模型能在正确时间、正确位置稳定画出来。
消融实验也指向同一结论。去掉动态状态、只留静态描述后,触发率从92.2%降到42.5%,按时发生事件的得分从91.2%降到16.1%。去掉空间遮罩后,布局重合指标mIOU从0.572降到0.291。第三阶段训练则把长视频VBench-Long总分从81.82提高到83.00,并把多阶段任务成功率从64.4%提高到83.9%。
在公开评测中,BoxWorld与其视频骨干LongLive同为20.7 FPS,视频质量总体相近。YouTube-VIS布局生成测试中,它取得FVD 62、区域跨帧一致性0.965和mIOU 0.572;其中mIOU低于采用更细空间表示的BlobGEN-Vid所报告的0.598。换句话说,BoxWorld的重点不是在每项视觉指标上都压倒其他方法,而是在保留画面能力的同时,把规则控制单独做成可指定、可维护的系统。
为什么值得关注
这条路线把“理解世界”拆成两个不同问题。规则引擎擅长记忆明确状态和执行条件,生成模型擅长补全纹理、运动和视觉效果。两者之间只交换少量物体状态,既不要求视频模型暗中学会所有逻辑,也不需要为每个场景建立沉重的完整模拟器。
更重要的是,用户自定义行为不再只是写进提示词里的一句愿望,而可以变成引擎实际执行的条件。若这套分工能在更广泛场景中成立,互动视频世界的开发重点可能从“反复提醒模型别忘规则”,转向“明确写出规则,再让生成模型忠实呈现后果”。
局限与未知
- PairedStateBench由作者提出,主要优势也在这一自建基准上得到验证,不能等同于独立评测或第三方复现。
- 用户规则依赖coding agent生成世界引擎。论文未报告代码生成正确率、典型失败模式,以及错误规则是否需要人工修正。
- 训练状态来自自动标注,但论文未给出标注准确率;20.7 FPS也不足以说明端到端交互延迟、硬件成本和复杂场景下的稳定性。