Liquid AI опубликовала на Hugging Face 8-битную версию модели для принятия решений d1‑omni‑600M. Модель под названием d1‑omni‑600M‑MLX‑8bit работает на Apple Silicon с помощью библиотеки MLX‑vlm и занимает всего 0,73 GB — примерно 60 % от исходного размера. Она может за один проход обработать несколько вопросов с указанными именами и типами по тексту, изображению или аудиозаписи и выдать ответы без генерации токенов. В репозитории есть команда для установки через pip и примеры запросов по тексту, изображениям и аудио.
Почему это важно
Теперь разработчики могут запускать мультимодальные модели для принятия решений локально на Mac без GPU — это открывает путь к более быстрым периферийным приложениям, например для автоматической сортировки обращений в службу поддержки.