Oossa

llama.cpp 0.1.14 يضيف دعم Q4_K وQ6_K المبلّط على Hexagon

أصبحت مكتبة Llama.cpp مفتوحة المصدر تدعم تنسيقي Q4_K وQ6_K المبلّطين على معالجات Hexagon، مع توفير ملفات ثنائية جديدة لأنظمة macOS وiOS وLinux.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

أصدر فريق ggml-org الإصدار b11487 من llama.cpp. ويضيف الإصدار دعم GET_ROWS المبلّط لتنسيقي Q4_K وQ6_K على معالجات Hexagon، ويحسّن التعامل مع عروض Q4_K. كما تتوفر ملفات ثنائية جاهزة لأجهزة Apple Silicon، وأجهزة Mac بمعالجات Intel، ونظام iOS، وعدة إصدارات من Ubuntu (للمعالجة المركزية وVulkan). ويمكن تنزيل التحديث من صفحة الإصدارات على GitHub.

لماذا يهم

بات بإمكان المطورين تشغيل نماذج Llama بكفاءة أكبر على الأجهزة المعتمدة على Hexagon، مثل شرائح Qualcomm، ما يحسّن الأداء على الأجهزة المحمولة والمدمجة المدعومة.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.