Oossa

EmbeddingGemma 2 от Google добавляет мультимодальный поиск

Модель Google с открытыми весами преобразует текст, код, изображения, видео и аудио в эмбеддинги общего пространства. Для устройств доступны облегчённые версии.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

EmbeddingGemma 2 от Google — модель с открытыми весами для поиска и извлечения данных, которая работает с текстом, кодом, изображениями, видео и аудио. По словам Google, она преобразует их в общее пространство размерностью 768, позволяя разработчикам искать сразу по разным типам медиа и не поддерживать отдельные пространства эмбеддингов. Модель доступна на Hugging Face по лицензии Apache 2.0.

Разработчики могут загружать только нужные им энкодеры: размер модели варьируется от 270 миллионов параметров для текста и кода до 740 миллионов для полной мультимодальной поддержки. Векторы также можно укорачивать, чтобы экономить память, однако Google сообщает, что при размерности 128 качество поиска снижается примерно до 75% для изображений, видео и речи.

Почему это важно

Разработчики локального поиска могут использовать одну модель для поиска по документам и медиа. Но сокращение векторов ради экономии места может ухудшить результаты поиска по нетекстовым данным; независимых результатов тестирования в источнике нет.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.