Oossa

انتشار مدل 24B شرکت Liquid AI با فرمت 6‌بیتی MLX در Hugging Face

نسخه 6‌بیتی MLX مدل LFM2.5 با 24 میلیارد پارامتر منتشر شده و با mlx‑lm 0.32.0 یا نسخه‌های جدیدتر اجرا می‌شود.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

شرکت Liquid AI نسخه تازه‌ای از مدل LFM2.5‑24B‑A2B خود را در Hugging Face منتشر کرد. این مدل به فرمت MLX تبدیل و وزن‌های آن با دقت 6‌بیتی کوانتیزه شده‌اند، در حالی که دروازه‌های مسیریابی MoE با دقت کامل حفظ شده‌اند. مدل را می‌توان با mlx‑lm 0.32.0 یا نسخه‌های جدیدتر بارگذاری کرد؛ نسخه‌های قدیمی‌تر مدل را بارگذاری می‌کنند، اما کارشناسان را به‌درستی مسیریابی نمی‌کنند. این مدل از قالب گفت‌وگویی شبیه ChatML پشتیبانی می‌کند و قابلیت فراخوانی تابع دارد.

چرا مهم است

توسعه‌دهندگان می‌توانند یک مدل استدلالی بزرگ را سریع‌تر روی دستگاه اجرا کنند؛ به‌ویژه روی دستگاه‌های مجهز به Apple Silicon.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.