你想从手机里找出“海边有人弹吉他”的照片,又想顺手翻出那段现场录音和视频。过去,系统往往要先给照片写说明、把录音转成文字,再让几套模型分别处理。EmbeddingGemma 2 想省掉这番周转:把文字、代码、图像、视频和音频直接放进同一张“语义地图”,内容越相关,位置就越接近。
这是一款由 Google DeepMind 发布的开放式多模态嵌入模型。嵌入(Embedding),就是把一段内容压成一串数字,供计算机比较含义。它不负责写答案,更像资料库的编目员,决定哪些内容应该被放在一起。值得现在关注,是因为这个编目员不仅跨越多种内容格式,还瞄准手机、笔记本和浏览器里的本地运行。
本文的模型规格与效果数据主要来自 Google 官方博客及其 Hugging Face 模型页,两者属于同一机构,不能算独立交叉验证;浏览器运行另有第三方演示佐证。
一张地图,容纳四种模态
据 Google 介绍,EmbeddingGemma 2 会把文本(包括代码)、图像、视频、音频,以及它们的组合,映射到统一的 768 维向量空间。所谓“维”,可以理解为这张语义地图用于描述内容的数字坐标数量。
关键不只是它能分别看图、听声音,而是不同格式产生的向量可以直接比较。于是,一句“孩子在雨里踩水”的文字,可以拿去匹配照片或视频;一段声音,也可以寻找含有相近内容的视频。这就是统一嵌入空间:先把不同媒介翻译成同一种数学表示,再搜索和匹配。
它也可以成为 RAG 的入口。RAG 即检索增强生成:系统先从资料库找出相关内容,再交给生成模型回答。生成模型负责组织答案,嵌入模型负责判断“该找哪些资料”。如果资料库里同时有文档、截图、录音和视频,统一表示就减少了为每种格式单独搭建检索流程的麻烦。
Google 称,前代模型只处理文本,上线一年下载量便超过 2000 万次,远超团队预期。开发者主要用它做本地搜索和强调隐私的 RAG。第二代扩展到图片、声音和视频,因此更像是这个轻量文本工具沿着实际需求长出的续集。
模型可以只带需要的部件
EmbeddingGemma 2 共有 740M,也就是约 7.4 亿个参数。参数是模型训练后保留下来的内部数值,可粗略理解为它学到的模式所占的规模。其中,文本模型为 270M,视觉编码器为 170M,音频编码器为 300M。编码器负责把原始内容转换成向量。
270M 的文本部分又包括 130M 的 transformer 和 140M 的 embedder。前者负责理解输入之间的关系,后者把理解结果整理成用于比较的向量。视觉与音频编码器可以按需加载:只做文字与图片搜索,就不必同时加载音频部分。这种模块化设计适合资源有限的设备,但官方材料没有给出各组合实际占用多少内存、运行多快,因此不能只凭参数量断言所有手机都能轻松运行。
模型支持 100 多种语言。Google 还称,其代码任务表现比前代提高约 14%,但没有在现有材料中说明使用了什么基准、比较的是哪个前代版本,也没有交代“提高”的具体指标。这个数字可以视为方向性信号,还不足以作严格的横向判断。
向量也能伸缩
模型原生提供 128、256、512 和 768 维四档嵌入。这项设计名为 Matryoshka Representation Learning,名字取自套娃:较短的向量不是另做一套模型,而是从较长向量中截取前面一部分。
它解决的是很实际的成本问题。资料库中的每一项内容都要保存一个向量;数据越多、向量越长,存储与检索负担越大。从 768 维截到 128 维,单看向量容量,比例正好是六分之一,所以官方称存储成本最高可降低 6 倍。不过,这只是向量本身的理论比例。实际节省多少,还取决于索引和量化方案;材料也没有提供不同维度下的完整质量对照。
EmbeddingGemma 2 还有 8K token 的上下文窗口。token 是模型切分输入后的处理单位,并不简单等于一个字或一秒。Google 称这足以处理数分钟的音频或视频,但没有披露音视频如何换算成 token,因此“数分钟”不能当作固定时长上限。
开发者还可以给输入加一段简短的文字指令前缀,告诉模型当前要做搜索、分类、聚类还是语义相似度比较。分类是把内容放进预设类别;聚类则是在没有预设标签时,把相近内容自动归组。换句话说,同一个模型可以按任务调整它重点保留的语义信息。
浏览器本地运行,意义不只在速度
发布后的第二天,一位独立开发者把模型的文本与视觉模块移植到 TypeScript WebGPU 库 ruNNtime,并做出本地照片搜索演示。WebGPU 是浏览器调用本机 GPU 进行计算的标准接口。演示中,用户输入一句描述,照片的嵌入与匹配都在浏览器所在设备完成,原始素材不必上传服务器。
这让“端侧”不再只是官方设想。端侧指计算发生在用户自己的手机或电脑,而非远程云端。对私人照片、录音和文档来说,本地处理可以减少原始资料离开设备的需要,也能让一些搜索功能不依赖持续联网。不过,第三方演示只能证明模型确实能够在特定浏览器环境中运行,不能替官方验证其普遍性能或延迟。
模型页还列出了 llama.cpp 的相关支持链接,以及第三方 GGUF 版本。GGUF 是便于本地推理工具加载模型的一种文件格式。但现有材料显示,llama.cpp 链接指向一个 pull request,也就是等待项目审查或合并的代码变更请求;第三方转换权重也不等于官方正式支持。更稳妥的说法是,本地运行生态已经开始接入,而成熟程度仍需观察。
为什么值得关注
EmbeddingGemma 2 真正改变的不是“AI 又多会一种格式”,而是检索系统的底层选择。过去,文字、图片和录音可能各有一套表示与索引;现在,开发者可以尝试用一套共同坐标连接它们。对个人资料搜索、多媒体推荐和 RAG 来说,这会简化系统,也可能降低在云端处理敏感原始内容的必要性。
但统一空间是否真的统一得好,最终仍要看跨模态检索质量:文字找图片准不准,声音配视频稳不稳,缩短向量后损失多大。现有供稿没有提供这些任务的详细基准与对照结果。因此,它目前最明确的价值,是把多模态、本地运行和可伸缩向量装进了同一个开放模型;它能否成为新的通用底座,还要等待独立评测。
局限与未知
- “低延迟”“质量影响很小”等说法缺少硬件条件、对照模型和完整评测,暂时更接近官方定位,而非已被独立验证的结论。
- 740M 是全部模块的参数总量;按需加载后的内存、速度和不同消费级设备上的可用性尚未披露。
- 代码提升约 14%、音视频可处理数分钟及向量最多节省 6 倍,都缺少足够的测试口径或系统层数据,实际效果需按具体任务判断。