Oossa

إصدار llama.cpp b11757 يعالج إدارة CUDA graphs

أصدرت مكتبة الاستدلال مفتوحة المصدر Llama الإصدار b11757، مع إصلاح للتعامل مع CUDA graphs وملفات تنفيذ جديدة لأنظمة macOS وiOS وLinux.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

أصدر فريق ggml‑org الإصدار b11757 من llama.cpp. يمسح التحديث رسوم CUDA البيانية بعد إفراغ مجمّع الذاكرة القديم، ما يُفترض أن يحدّ من تسرّب ذاكرة GPU. وتتوفر الآن ملفات تنفيذ مسبقة البناء لأجهزة Apple Silicon بنظام macOS، وأجهزة Intel بنظام macOS، ونظام iOS، وعدة إصدارات من Ubuntu (CPU وVulkan وCUDA 12.8). نُشر الإصدار على GitHub.

لماذا يهم

سيواجه المطورون الذين يشغّلون نماذج Llama على وحدات معالجة الرسوميات من Nvidia أخطاء نفاد الذاكرة بمعدل أقل بعد هذا الإصلاح.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.