Liquid AI가 Hugging Face에 LFM2.5‑24B‑A2B 모델의 새 버전을 공개했습니다. 이 모델은 MLX 형식으로 변환하고 가중치를 6비트로 양자화했으며, MoE 라우팅 게이트는 완전 정밀도로 유지합니다. mlx‑lm 0.32.0 이상에서 불러올 수 있습니다. 이전 버전에서도 모델을 불러오기는 하지만 전문가를 잘못 라우팅합니다. 모델은 ChatML과 유사한 채팅 템플릿을 사용하며 함수 호출을 지원합니다.
왜 중요한가
개발자는 특히 Apple Silicon 기기에서 대규모 추론 모델을 더 빠르게 온디바이스로 실행할 수 있습니다.