تدعم مكتبة Llama.cpp مفتوحة المصدر الآن فك تكميم ذاكرة المفاتيح والقيم على وحدات معالجة الرسوميات Vulkan، ما يسرّع الأداء لبعض رؤوس النماذج.
خبر موجزبقلم Oossaنشرته Oossa: 1 دقائق قراءة
أصدر فريق ggml‑org الإصدار b12291 من llama.cpp. ويضيف الإصدار تحسينًا قائمًا على Vulkan يفك تكميم ذاكرة المفاتيح والقيم باستخدام تعليمة coopmat2. ولا يُطبَّق هذا التغيير إلا عندما تُظهر آلية استدلالية تعتمد على عدد رموز الاستعلام ونسبة GQA أنه آمن. كما يعالج التحديث مشكلة التعامل مع المحاذاة في بعض أحجام الرؤوس، ما يحسّن الأداء عندما يتعذر استخدام التحسين.
يمكن للمطورين الذين يشغّلون نماذج Llama على عتاد متوافق مع Vulkan الحصول على استدلال أسرع من دون تغيير شيفرتهم.
النماذج
يمكن للمطورين تشغيل نسخة من كثير من خدمات AWS على أجهزتهم أو خوادم CI، من دون الحاجة إلى حساب سحابي.
النماذج
تستطيع واجهة Gemini Decisions الجديدة معالجة ما يصل إلى 1,000 سؤال مغلق في دفعة واحدة، مقابل $0.10 لكل مليون رمز إدخال.
النماذج
تقول هيئة شؤون الطلاب إن على الجامعات اعتماد اختبارات لا تعتمد على الذكاء الاصطناعي، وإلا واجهت عقوبات، بعد أن كشف استطلاع انتشار استخدام الطلاب له دون اكتشافه.
Oossa · النشرة البريدية
أسبوع الذكاء الاصطناعي، مشروحًا
كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.
