A Liquid AI publicou uma nova versão do modelo LFM2.5-24B-A2B no Hugging Face. Convertido para o formato MLX, o modelo foi quantizado para 6 bits por peso, mantendo as portas de roteamento do MoE em precisão total. Ele pode ser carregado com o mlx-lm 0.32.0 ou posterior; versões mais antigas carregam o modelo, mas direcionam os especialistas incorretamente. O modelo usa um template de conversa semelhante ao ChatML e oferece suporte a chamadas de função.
Por que importa
Desenvolvedores podem executar um modelo de raciocínio grande mais rapidamente no próprio dispositivo, especialmente em computadores com Apple Silicon.
