Oossa

llama.cpp b11971 پشتیبانی OpenCL کاشی‌بندی‌شده را برای Adreno افزود

این نسخه یک عملیات ماتریسی q4_K کاشی‌بندی‌شده برای پردازنده‌های گرافیکی Adreno اضافه می‌کند؛ از جمله مسیری برای دسته‌های بزرگ‌تر از یک.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

نسخه b11971 از llama.cpp متعلق به ggml-org، یک عملیات ماتریسی OpenCL q4_K کاشی‌بندی‌شده برای پردازنده‌های گرافیکی Adreno اضافه می‌کند. همچنین در این تغییر، لایه خروجی مدل زبانی q4_K برای اندازه دسته‌های بزرگ‌تر از یک از همین عملیات استفاده می‌کند.

این نسخه بیلدهای قابل‌دانلودی برای macOS، iOS و چند پلتفرم لینوکس دارد. یادداشت‌های انتشار اندازه‌گیری‌های عملکردی ارائه نمی‌کنند؛ بنابراین تأثیر تغییر مربوط به Adreno بر سرعت یا مصرف منابع مشخص نیست.

چرا مهم است

توسعه‌دهندگانی که llama.cpp را روی سخت‌افزار Adreno اجرا می‌کنند، می‌توانند مسیر جدید OpenCL را امتحان کنند؛ اما یادداشت‌های انتشار مشخص نمی‌کنند که آیا این مسیر استنتاج را سریع‌تر می‌کند یا نه.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.