Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.104 — 2026-10-16
PAPER HF 5 约 1 分钟

视频再长,也只用恒定内存装帧

FramePack-U按问题分配画面清晰度,让长视频在固定内存预算内交给模型理解。

让 AI 看一场数小时的比赛,视频越长,要塞进模型的画面信息通常越多,内存和等待时间也跟着上涨。FramePack-U 想把这个增长按住:无论视频多长,都把视觉输入装进固定大小的“箱子”。视觉输入会被转成视觉 Token——模型处理画面时使用的内部信息单位;总量固定,工作内存便不再随帧数线性膨胀。

它先比较每帧与文字问题的语义相似度,再优先挑选彼此差异较大的画面;随后按重要性分配清晰度,关键帧保留更多细节,其余帧逐级缩小。这样不用微调模型,也不用修改架构,推理时即可接入现成的视觉语言模型。作者报告,在 Qwen3.5-35B-A3B、128 帧预算下,它相对官方模型在 LongVideoBench、MLVU 和 Video-MME(long)分别提升 12.9%、10.6% 和 9.7%。不过,论文也发现帧数并非越多越好:固定预算下塞入更多画面,会牺牲单帧清晰度。


供稿材料 SOURCES — 1

← 返回 2026-10-16 · 学术板块