Oossa

Liquid AI выпустила 24B LFM2.5 в формате MLX с квантованием до 6 бит

Модель LFM2.5 с 24 млрд параметров теперь доступна в версии MLX с квантованием до 6 бит. Для запуска нужна mlx‑lm 0.32.0 или новее.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Liquid AI опубликовала на Hugging Face новую версию модели LFM2.5‑24B‑A2B. Модель конвертирована в формат MLX и квантована до 6 бит на вес, а маршрутизирующие шлюзы MoE оставлены в полной точности. Для загрузки нужна mlx‑lm 0.32.0 или новее: более старые версии загружают модель, но неверно направляют запросы к экспертам. Модель использует шаблон чата, похожий на ChatML, и поддерживает вызов функций.

Почему это важно

Разработчики смогут быстрее запускать на устройстве крупную модель для рассуждений, особенно на компьютерах с Apple Silicon.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.