Liquid AI publicó en Hugging Face una nueva versión de su modelo LFM2.5‑24B‑A2B. El modelo está convertido al formato MLX y cuantizado a 6 bits por peso, mientras que las compuertas de enrutamiento de MoE conservan la precisión completa. Se puede cargar con mlx‑lm 0.32.0 o una versión posterior; las versiones anteriores cargan el modelo, pero enrutan mal a los expertos. El modelo usa una plantilla de chat similar a ChatML y admite llamadas a funciones.
Por qué importa
Los desarrolladores pueden ejecutar un modelo de razonamiento grande más rápido en el dispositivo, especialmente en equipos con Apple Silicon.