تیم ggml-org نسخه b11531 از llama.cpp را منتشر کرد. این نسخه API چت را بازطراحی کرده و باینریهای ازپیشساختهای برای macOS (Apple Silicon و Intel)، iOS و چند نسخه از Ubuntu، از جمله بیلدهای CPU، Vulkan و CUDA 12.8، ارائه میدهد. پیوندهای دانلود در صفحه انتشار GitHub قرار دارند. کاربران حالا میتوانند بدون نیاز به کامپایل، مدلهای زبانی بزرگ را بهصورت محلی روی پلتفرمهای بیشتری اجرا کنند.
چرا مهم است
توسعهدهندگان امروز میتوانند مدلهای Llama را بدون مراحل ساخت روی دستگاههای بیشتری بهصورت محلی اجرا کنند و از شتابدهی GPU در Ubuntu بهره ببرند.