Oossa

Google推出EmbeddingGemma 2,支持多模态搜索

Google的开放权重模型可将文本、代码、图像、视频和音频映射到同一嵌入空间,并提供更小的版本供设备端使用。

简讯作者: Oossa 发布日期: 1 分钟阅读

Google的EmbeddingGemma 2是一款用于搜索和检索的开放权重模型,支持文本、代码、图像、视频和音频。Google表示,该模型会将这些内容映射到一个共享的768维空间,让开发者无需分别维护不同媒体类型的嵌入空间,就能跨媒体搜索。该模型已在Hugging Face上发布,采用Apache 2.0许可证。

开发者可以只加载所需的编码器:模型参数量从处理文本和代码时的2.7亿,到提供完整多模态支持时的7.4亿不等。模型生成的向量也可以缩短以节省内存,但Google报告称,缩短至128维时,图像、视频和语音的检索质量会降至约75%。

为什么重要

构建本地搜索的开发者可以用一个模型检索文档和媒体内容,但缩短向量以节省存储空间可能会降低非文本搜索的效果;原文未提供独立测试结果。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。