Oossa

إصدار llama.cpp ‏b11494 يحسّن أداء CUDA

تستخدم مكتبة Llama.cpp مفتوحة المصدر الآن أربعة أعمدة لحالة GDN لكل warp في CUDA، ما يعزز أداء GPU.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

أصدر فريق ggml‑org الإصدار b11494 من llama.cpp. ويغيّر التحديث آلية عمل واجهة CUDA الخلفية، بحيث تخصص أربعة أعمدة لحالة GDN لكل warp بدلًا من عمودين. وأصبح هذا الإعداد هو الافتراضي الآن. تتوفر للتنزيل ملفات ثنائية لأنظمة macOS (Apple Silicon وIntel) وiOS، وعدة إصدارات من Ubuntu.

لماذا يهم

يمكن للمطورين الذين يستخدمون llama.cpp على وحدات GPU من NVIDIA توقع استدلال أسرع من دون الحاجة إلى تغيير شيفراتهم.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.