پروژه llama.cpp نسخه پیشانتشار b12173 را منتشر کرده که پشتیبانی OpenCL از عملیات تکرار را برای نوعدادههای f16، i32، i16 و bf16 اضافه میکند. OpenCL روشی برای اجرای بارهای محاسباتی روی پردازندهها و سختافزارهای گرافیکی پشتیبانیشده است.
در صفحه انتشار، نسخههایی برای پلتفرمهایی از جمله Linux، Windows، macOS، iOS و Android فهرست شدهاند و گزینههای مختلفی برای سختافزار و شتابدهندهها دارند. مشخص نشده است که کدام دستگاهها یا بارهای کاری بیشترین بهره را از این تغییر میبرند.
چرا مهم است
توسعهدهندگانی که از llama.cpp با OpenCL استفاده میکنند، ممکن است بتوانند عملیات تکرار را روی این چهار نوعداده اجرا کنند؛ بااینحال، یادداشتهای انتشار نمیگویند در عمل کدام دستگاهها از این پشتیبانی بهرهمند میشوند.