أصدر مشروع ggml‑org/llama.cpp الإصدار b12342، مضيفًا نواة CUDA MMA بدقة int8 لعمليات ضرب المصفوفات وتكميمها (MMQ) ذات الصفوف القليلة. وتدعم النواة تنسيقات التكميم Q8_0 وQ3_K وQ4_K وQ5_K وQ6_K وIQ3_S وIQ4_NL وIQ4_XS على وحدات NVIDIA GPU بدءًا من جيل Ampere. ويهدف هذا التغيير إلى تسريع مراحل التحقق في فك الترميز التخَميني. كما يتضمن التحديث إصلاحات لعدة اختبارات ووسائل حماية.
لماذا يهم
يمكن للمطورين تشغيل استدلال النماذج اللغوية الكبيرة بسرعة أكبر على وحدات GPU المتوافقة، ما يقلل زمن الاستجابة في تطبيقات الذكاء الاصطناعي التفاعلية.
