部署 RAG（先检索资料、再让 AI 回答）时，通常还要额外运行一个嵌入模型。它负责把文字或图片变成可比较的数字，让相近内容更容易被搜到。NuMind 开发者 Gailenstorm 做了一个 vLLM 插件，尝试让正在服务的多模态大模型顺手完成这份工作：复用同一份显存里的模型权重，直接从聊天接口返回文本或图像的表示，省去另一套模型服务。
具体做法很巧：大模型在生成答案前，本来就会产生隐藏状态——处理输入时形成的内部数字表示。插件取出最后一层的隐藏状态，并用要求模型给出“一词摘要”的提示词，把关键信息尽量集中到这个位置，再将其近似当作嵌入。这样得到的向量可用于本地 RAG、语义搜索，以及文图互搜等实验。
不过，“免费”指复用已加载模型，不等于检索质量没有代价。作者明确提醒，这类表示未经专门训练，效果取决于模型、提示词和任务；专用嵌入模型仍可能更快或更准。现有材料也未披露插件的系统性评测数字，因此它更像一种值得试验的部署取舍，而非已被证明能替代专用模型的方案。