让 AI 比较一组商品照片时,通常每张图都会按同样的清晰度处理,无论它是关键证据,还是几乎无关的背景。图片一多,计算开销便迅速膨胀。这篇论文提出 mmVB,让模型像调查员分配看图时间:重要照片细看,次要照片粗看。
图片进入多模态大语言模型前,会被拆成视觉 Token——可理解为模型读取画面的信息小卡片。mmVB 结合问题和整组图片,为每张图预测所需档位,再缩放图片;它不会把低清图片放大。这个模块只有约 160 万个可训练参数,基础模型无需重新训练,也不用在推理时读取 Attention(模型比较不同信息单元的机制)矩阵。
作者称,在八个多图推理基准上,mmVB 将视觉输入 Token 压至约九分之一,首个 Token 的等待时间缩短至约五分之一,预填充计算量降至约七分之一,同时保留全分辨率模型 94.4% 的准确率。代价是预算标签只保证“足够可用”,并不保证已经找到最省 Token 的组合。