Oossa

انتشار نسخه b11640 از llama.cpp با بهینه‌سازی Vulkan

این به‌روزرسانی زمان‌بندی ورک‌گروه‌ها را برای بهبود دسترسی به حافظه L2 تنظیم می‌کند و نسخه‌های اجرایی جدیدی برای macOS، iOS و Ubuntu ارائه می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b11640 از llama.cpp را منتشر کرد. در این به‌روزرسانی، بک‌اند Vulkan برای ضرب ماتریسی از زمان‌بندی ورک‌گروه‌های سازگار با حافظه L2 استفاده می‌کند. همچنین نسخه‌های اجرایی ازپیش‌ساخته‌شده‌ای برای Apple Silicon، مک‌های اینتل، iOS و چند نسخه Ubuntu (با CPU، Vulkan و CUDA 12.8) ارائه شده است. کاربران می‌توانند این بسته‌ها را از صفحه انتشار در GitHub دانلود کنند.

چرا مهم است

این تغییر می‌تواند اجرای مدل‌های LLaMA را روی GPUهای سازگار با Vulkan سریع‌تر کند و به توسعه‌دهندگان در دستگاه‌های لینوکس و اندروید کمک کند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.