تیم ggml‑org نسخه b12345 از llama.cpp را منتشر کرد. این نسخه از کوانتیزه‌سازی Q5_0 و Q5_1 پشتیبانی می‌کند؛ فشرده‌سازی ۵ بیتی‌ای که می‌تواند استنتاج را سریع‌تر کند. این به‌روزرسانی همچنین هسته‌های اختصاصی این قالب‌ها را برای دستگاه‌های Hexagon دارد. فایل‌های اجرایی ازپیش‌ساخته‌شده برای macOS Apple Silicon، macOS Intel، iOS و چند نسخه از Ubuntu، از جمله نسخه‌های فقط‌مبتنی‌بر CPU و Vulkan، ارائه شده‌اند.
چرا مهم است
توسعه‌دهندگان می‌توانند مدل‌های زبانی بزرگ را سریع‌تر روی سخت‌افزارهای کم‌مصرف اجرا کنند و دامنه دستگاه‌هایی را که میزبان مدل‌های هوش مصنوعی محلی هستند گسترش دهند.
