你让视频 AI 拍一段长镜头:一个人走出画面,镜头转去别处,过一会儿再转回来。此时,人可能换了衣服,桌上的杯子可能变了形,房间布局也可能悄悄重排。短片看着不错,不代表模型真记得这个世界。
History Forcing 要解决的就是这种“离开后再回来”的一致性。它不是给模型安装一个逐帧存档、随时检索的长期记忆库,而是在训练时强化历史约束:模型生成当前画面时,更认真地参考早先见过的人物、场景和状态。
这项工作来自 Zhejiang University、Microsoft Research、Monash University 和 Adelaide University。下文数字均为论文作者自报结果,尚无第三方复现。
长视频为什么容易越拍越忘
这项方法面向少步自回归视频扩散模型。这里有三个概念需要拆开。
扩散模型从随机噪声开始,经过多轮去噪形成视频。减少去噪步数可以加快生成,但更难兼顾画质与稳定性。自回归视频生成则把长视频切成一段段,每段接着上一段往后拍。它可以不断延长视频,代价是小错误会像传话游戏一样逐段积累。所谓视频世界模型,还不只追求画面好看;它要根据已有画面和动作预测世界接下来怎样变化,因此人物、物体和规则也得前后一致。
问题在于,当前一段画面已经发生偏移,下一段又把它当成事实。时间越长,人物外观和场景结构越容易漂移。若某个物体离开镜头,最近几帧甚至完全没有它的信息。模型再次看到它时,只能凭模糊的历史线索“续写”。
关键不是多看历史,而是量出历史的作用
History Forcing 采用蒸馏——让较快的“学生”模型模仿较慢但更强的“老师”。它的关键一步,是让同一个老师对同一份待生成内容判断两次:一次带上有用的早期历史,一次不带;两次预测之差,就是历史对当前画面产生的修正方向。
可以把它理解成老师批改续写。老师先只看上一段,给出一版修改意见;再翻回故事前几页,给出第二版意见。两版之间的差异,主要反映那些早期设定应该怎样影响眼前情节。History Forcing 把这个差值加到原有蒸馏目标上,形成 corrected target,也就是经过历史校正的学习目标。
这避开了论文所说的“历史—质量耦合”。直接照抄一个掌握历史的自回归老师,学生会同时继承它的历史判断和画质短板。History Forcing 则让双向扩散老师继续负责整体视觉质量,只从自回归老师那里提取“历史造成了什么变化”。历史约束的强度还能单独调节。
训练采用 on-policy 方式,即学生先按实际推理方式生成视频,再沿着自己产生的轨迹接受纠正。这样,训练面对的是学生真正可能犯下的错误,而不只是理想视频中的干净前文。
两种“回头看”
在普通长视频生成中,方法从学生已经生成的较早片段里取历史。这些片段积累的漂移较少,更接近人物和场景原先的样子。两次教师预测都会看到最近的共同上下文,其中一次再额外看到连续的更早画面。如此得到的差值,较集中地表达远处历史的影响,而不会把眼前动作衔接也混进去。
论文的消融实验支持这一设计。移除两次预测共享的最近画面后,15 秒视频的 VBench quality score 从 84.82 降至 81.91。把部分连续历史换成最开头的零散画面,分数也降至 83.81。换句话说,有用的不是机械保留第一帧,而是保留一段连续、可信的早期经历,同时固定眼前语境。
更棘手的是镜头外演化。比如镜头转开时,油漆仍在覆盖一块区域;转回来后,模型不只要认出原场景,还要推断这段时间里变化到了哪里。学生看不到这段过程,早期静态画面也给不了答案。
为此,论文让教师从同一初始场景出发,但把镜头固定在原地,持续生成该区域的变化。学生镜头转开,教师却像一台留守监控器,一直看着那里。等学生回访时,训练系统用这段 fixed-view teacher rollout——固定视角的教师生成轨迹——构造历史修正,指导学生恢复较合理的场景状态。
数字说明了什么
15 秒生成中,加入历史监督后,VBench quality score 从基线的 84.44 升至 84.82;进一步用 10 秒视频微调自回归教师后达到 85.07。论文称,这是所比较方法中的最高质量分数。
更值得看的是外推到一分钟。学生训练时最长只生成 15 秒,测试时直接生成 60 秒,在 VBench-Long 上得到 79.82。它比同为 1.3B 参数的 Rolling Forcing 高 0.60 分,也接近 5B 参数 LongLive-2.0 的 79.90。论文据此称其在所比较的 1.3B 模型中达到最佳表现;这个结论只适用于论文给出的模型、数据与推理设置,不宜泛化成全面领先。
镜头外测试更贴近这项工作的核心。在 PlayWorld Out-of-sight 上,Evolution Quality 从原始模型的 2.35 提升到 2.70;Subject Identity 达到 2.98,相比 OPSD-V 的 2.72提高 0.26。在 MemoBench Real 上,Object Consistency 从 58.43升至 62.18。论文展示的案例中,基线会改变杯子的几何形状和周围色带布局,History Forcing 则更能维持原有形状,并延续涂漆造成的状态变化。
代价相对有限。作者只对一个随机抽取的合格片段施加历史监督,因此相较普通 DMD——分布匹配蒸馏,训练每步耗时增加 2.31%,峰值显存增加 1.99%。
为什么值得关注
这项工作的价值不只在于把视频拖得更长。长时世界模拟真正困难的地方,是画面之外仍然存在一个持续变化的世界。人物暂时消失,不应被重新发明;物体离开视野,也不该冻结,更不能回来时无缘无故换一种状态。
History Forcing 提供了一种克制的处理思路:不宣称已经造出完整记忆系统,而是把“有历史”和“没历史”之间的预测差异提取出来,作为可调节的训练信号。它试图教会模型的不是死记旧画面,而是让旧观察对当前续写产生更明确的约束。
局限与未知
- 长视频实验只覆盖 1.3B 教师和学生,世界模型实验使用 5B 底座。论文没有证明同样收益会自然扩展到更大模型或更长时间。
- 固定视角教师本身也可能不会正确模拟镜头外的变化。教师若只生成有限的场景演化,提供给学生的历史监督也会随之变弱。
- 所有效果均来自作者实验。部分指标提升不大,论文也未报告方差或显著性;“更合理的演化”仍受评测体系和教师能力限制。