Oossa

Liquid AI publica su modelo LFM2.5 de 24B en formato MLX de 6 bits

El modelo LFM2.5 de 24.000 millones de parámetros ya está disponible en una versión MLX de 6 bits, compatible con mlx‑lm 0.32.0 o posterior.

BrevePor Publicado por Oossa: 1 min de lectura

Liquid AI publicó en Hugging Face una nueva versión de su modelo LFM2.5‑24B‑A2B. El modelo está convertido al formato MLX y cuantizado a 6 bits por peso, mientras que las compuertas de enrutamiento de MoE conservan la precisión completa. Se puede cargar con mlx‑lm 0.32.0 o una versión posterior; las versiones anteriores cargan el modelo, pero enrutan mal a los expertos. El modelo usa una plantilla de chat similar a ChatML y admite llamadas a funciones.

Por qué importa

Los desarrolladores pueden ejecutar un modelo de razonamiento grande más rápido en el dispositivo, especialmente en equipos con Apple Silicon.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.