Oossa

Liquid AI, Hugging Face에 24B LFM2.5 모델 6비트 MLX 버전 공개

240억 매개변수 LFM2.5 모델을 6비트 MLX 버전으로 사용할 수 있으며, mlx‑lm 0.32.0 이상에서 실행됩니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Liquid AI가 Hugging Face에 LFM2.5‑24B‑A2B 모델의 새 버전을 공개했습니다. 이 모델은 MLX 형식으로 변환하고 가중치를 6비트로 양자화했으며, MoE 라우팅 게이트는 완전 정밀도로 유지합니다. mlx‑lm 0.32.0 이상에서 불러올 수 있습니다. 이전 버전에서도 모델을 불러오기는 하지만 전문가를 잘못 라우팅합니다. 모델은 ChatML과 유사한 채팅 템플릿을 사용하며 함수 호출을 지원합니다.

왜 중요한가

개발자는 특히 Apple Silicon 기기에서 대규모 추론 모델을 더 빠르게 온디바이스로 실행할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.