像教练只在比赛结束后给一个总分,却要判断哪几次传球值得强化。扩散模型也有类似难题:它从随机噪声出发,一步步描出图像或视频,但黑盒奖励——外部程序或模型对最终成品给出的分数——不会告诉它哪一步做对了。以往方法要么信用分配不准、训练效率受限,要么依赖按任务调节的指数移动平均(EMA,即保留一份缓慢更新的旧模型)才能稳定。
Wan 等人提出 DiffusionART。它先汇总同一提示词下多份样本的奖励,算出一个共同的“改进方向”,再把这个方向明确分给生成途中实际经过的每个状态;随后用带信任区域遮罩的第二次更新,把偏离过大的步骤拉回来。作者认为,这既避开了旧方法中会干扰奖励优化的“正向—反向一致性”力量,也省去了 EMA 的逐任务调参。论文在图像和视频生成实验中自述,该方法用更少的每提示词样本仍能工作,并支持只比较两份结果孰优的成对奖励模型。