Oossa

llama.cpp b12206 يسرّع التخزين المؤقت لـMoE

أصدر مشروع تشغيل نماذج اللغة الكبير مفتوح المصدر ملفات تنفيذية لـmacOS وiOS وعدة إصدارات من Linux، مع تحسين إدارة ذاكرة MoE المؤقتة لتجنّب تعطّل المعالجة على CPU.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

أصدر ggml‑org الإصدار b12206 من llama.cpp. ويعالج التحديث مشكلة في ذاكرة MoE (مزيج الخبراء) المؤقتة، بحيث لا تعود وحدة CPU تنتظر الخبراء المخزّنين مؤقتًا. وأصبحت الملفات التنفيذية الجاهزة متاحة الآن لأجهزة Apple Silicon التي تعمل بنظام macOS، وأجهزة Mac بمعالجات Intel، ونظام iOS، وعدة تهيئات من Ubuntu، تشمل x64 وarm64 وs390x مع دعم Vulkan أو zDNN.

لماذا يهم

يمكن للمطورين تشغيل نماذج اللغة الكبيرة بسرعة أكبر على أجهزتهم، من دون اختناق CPU الذي تسببت فيه آلية التخزين المؤقت لـMoE السابقة.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.