谷歌发布 EmbeddingGemma 2:7.4 亿参数开源多模态嵌入模型,面向端侧离线检索
Google DeepMind(谷歌旗下人工智能研究机构)发布 EmbeddingGemma 2(开源轻量多模态嵌入模型),把文本、图像、音频、视频映射到同一嵌入空间,参数 7.4 亿,以 Apache 2.0(商业友好开源许可证)发布,可在端侧完成离线跨模态搜索与 RAG(检索增强生成)。
对开发者的直接价值是:本地向量检索的内存与存储占用可按需压缩,文本、代码、音视频检索共用一套模型,减少多模型拼接带来的工程与隐私成本。
据 Google DeepMind(谷歌旗下人工智能研究机构)研究工程师 Sahil Dua 与 Henrique Schechter Vera 署名的官方博客,EmbeddingGemma 2 基于 Gemma 4 架构,参数 7.4 亿,以 Apache 2.0 许可证发布。
官方称其为 sub-1B(十亿参数以下)多模态嵌入模型中同规模领先,MTEB(大规模文本嵌入基准)Code 子集得分从 EmbeddingGemma 1 的 68.76 提升至 78.68,提升 9.92 分。 模型采用模块化设计:纯文本最低需 270M 参数,视觉编码器 170M、音频编码器 300M 为可选;
通过 Matryoshka Representation Learning(俄罗斯套娃表示学习,MRL)可将输出向量从 768 维截断至 512、256 或 128 维,官方称最多降低 6 倍本地向量数据库存储与内存占用。 量化后,在 Google Pixel 11 Pro 上纯文本权重活跃内存约 191MB,完整多模态模型约 567MB。
上下文窗口 8K token(词元),为上一代的 4 倍,官方称可处理约 5.5 分钟音频、29 张图片、58 帧视频或交错组合。
权重可在 Hugging Face 和 Kaggle 下载,支持 transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudio 等工具,向量存储可用 Qdrant,微调指南由 Unsloth 提供;
Gemini Enterprise Agent Platform Model Garden 上线时间官方表述为“即将推出”。 博客还称上一代 EmbeddingGemma 下载量超过 2000 万次。
把多模态嵌入压到 7.4 亿参数并做到端侧可运行,实质是把检索环节从云端拉回本地:一是隐私敏感场景(本地相册、会议录音、代码库)不再需要把原始数据上传; 二是与同为 Gemma 4 系的生成模型共享分词器和音频编码器,官方称联合部署可降低总内存占用,意味着端侧 RAG(检索增强生成) 的“检索+生成”两段可放进同一内存预算。
需注意:官方给出的 MTEB Code、MAEB(大规模音频嵌入基准)等“领先”结论来自自家基准与自家模型卡,不是第三方独立评测; 内存数字基于 Google(谷歌) Pixel 11 Pro 与量化配置,不等于其他设备表现。 开放权重加 Apache 2.0 的组合会进一步压低端侧检索采用门槛,也意味着这块能力难以成为单一厂商的差异化护城河。
后续观察信号
- 查阅 EmbeddingGemma 2 模型卡中的完整评测指标与基线设置
- 核对 EmbeddingGemma 1 下载量数据的原始出处
- 跟踪 Apache 2.0 许可下商用部署的合规注意事项
