تیم ggml-org نسخهٔ b11710 نرم‌افزار متن‌باز llama.cpp را برای اجرای مدل‌های زبانی منتشر کرده است. تغییر ثبت‌شده در این نسخه، ادغام top-k متخصصان گروه‌بندی‌شده را برای CUDA، پلتفرم محاسباتی کارت‌های گرافیک، اضافه می‌کند و شامل آزمون‌ها و اصلاحی مرتبط با HIP است.
صفحهٔ انتشار، فایل‌های دانلودی را برای چند سیستم از جمله macOS، iOS و Linux ارائه می‌کند. در این صفحه نتایج بنچمارک یا اطلاعاتی دربارهٔ میزان تأثیر این تغییر بر سرعت یا مصرف حافظه گزارش نشده است.
چرا مهم است
توسعه‌دهندگانی که از CUDA برای مدل‌های متخصصان گروه‌بندی‌شده استفاده می‌کنند، می‌توانند پیاده‌سازی جدید را امتحان کنند؛ اما یادداشت‌های انتشار مشخص نمی‌کنند که این تغییر در عمل عملکرد را بهبود می‌دهد یا نه.
