Oossa

Liquid AI pubblica LFM2.5 da 24B in formato MLX a 6 bit

Il modello LFM2.5 da 24 miliardi di parametri è ora disponibile in una versione MLX a 6 bit, eseguibile con mlx‑lm 0.32.0 o versioni successive.

BreveDi Pubblicato da Oossa: 1 min di lettura

Liquid AI ha pubblicato su Hugging Face una nuova versione del modello LFM2.5‑24B‑A2B. Il modello è convertito in formato MLX e quantizzato a 6 bit per peso, mentre i gate di instradamento MoE mantengono la precisione completa. È possibile caricarlo con mlx‑lm 0.32.0 o versioni successive; le versioni precedenti caricano il modello, ma instradano gli esperti in modo errato. Il modello usa un template di chat simile a ChatML e supporta le chiamate a funzione.

Perché conta

Gli sviluppatori possono eseguire più velocemente sul dispositivo un modello di ragionamento di grandi dimensioni, soprattutto sui computer con Apple Silicon.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.