Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.103 — 2026-10-15
PAPER H 31 · HF 233 约 1 分钟

扩散模型强化学习补上信用分配

DiffusionART把最终评分拆回生成各步,兼顾在线强化学习的效率与稳定性。

像教练只在比赛结束后给一个总分,却要判断哪几次传球值得强化。扩散模型也有类似难题:它从随机噪声出发,一步步描出图像或视频,但黑盒奖励——外部程序或模型对最终成品给出的分数——不会告诉它哪一步做对了。以往方法要么信用分配不准、训练效率受限,要么依赖按任务调节的指数移动平均(EMA,即保留一份缓慢更新的旧模型)才能稳定。

Wan 等人提出 DiffusionART。它先汇总同一提示词下多份样本的奖励,算出一个共同的“改进方向”,再把这个方向明确分给生成途中实际经过的每个状态;随后用带信任区域遮罩的第二次更新,把偏离过大的步骤拉回来。作者认为,这既避开了旧方法中会干扰奖励优化的“正向—反向一致性”力量,也省去了 EMA 的逐任务调参。论文在图像和视频生成实验中自述,该方法用更少的每提示词样本仍能工作,并支持只比较两份结果孰优的成对奖励模型。


供稿材料 SOURCES — 1

← 返回 2026-10-15 · 学术板块