Liquid AI heeft een nieuwe versie van het model LFM2.5-24B-A2B op Hugging Face geplaatst. Het model is omgezet naar MLX-formaat en gekwantiseerd naar 6 bits per gewicht; de routeringspoorten van de MoE blijven op volledige precisie. Het model kan worden geladen met mlx-lm 0.32.0 of nieuwer. Oudere versies laden het model wel, maar routeren experts verkeerd. Het model gebruikt een chattemplate die lijkt op ChatML en ondersteunt het aanroepen van functies.
Waarom het ertoe doet
Ontwikkelaars kunnen een groot redeneermodel sneller op het apparaat uitvoeren, vooral op machines met Apple Silicon.
