شرکت Liquid AI نسخه تازهای از مدل LFM2.5‑24B‑A2B خود را در Hugging Face منتشر کرد. این مدل به فرمت MLX تبدیل و وزنهای آن با دقت 6بیتی کوانتیزه شدهاند، در حالی که دروازههای مسیریابی MoE با دقت کامل حفظ شدهاند. مدل را میتوان با mlx‑lm 0.32.0 یا نسخههای جدیدتر بارگذاری کرد؛ نسخههای قدیمیتر مدل را بارگذاری میکنند، اما کارشناسان را بهدرستی مسیریابی نمیکنند. این مدل از قالب گفتوگویی شبیه ChatML پشتیبانی میکند و قابلیت فراخوانی تابع دارد.
چرا مهم است
توسعهدهندگان میتوانند یک مدل استدلالی بزرگ را سریعتر روی دستگاه اجرا کنند؛ بهویژه روی دستگاههای مجهز به Apple Silicon.