يضيف إصدار llama.cpp b11980 نواة انتباه فلاش على SYCL لفك الترميز باستخدام ذاكرة تخزين مؤقت مكمّمة للمفاتيح والقيم من نوعَي q4_0 وq8_0. وتتعامل النواة مع دفعات تضم من 1 إلى 31 رمزًا للاستعلام، ما يلغي الحاجة إلى فك التكميم القياسي أو تحويل الذاكرة المؤقتة كاملةً إلى f16 مع كل استدعاء.
تشير ملاحظات الإصدار إلى أن Llama 3.1 8B Q4_K_M مع ذاكرة مؤقتة من نوع q4_0 حقق 54.2 رمزًا في الثانية على Intel Arc B580 عند سياق بحجم 16K، مقارنةً بـ31.3 سابقًا. وهذه النتيجة تخص إعدادًا واحدًا محددًا؛ إذ تظل معالجة المطالبات على النوى الحالية، ويمكن تعطيل النواة الجديدة باستخدام GGML_SYCL_FA_DPAS=0.
لماذا يهم
قد يعني ذلك توليد الرموز بسرعة أكبر، ضمن الإعداد الذي خضع للاختبار، لمن يفكّون الترميز على Intel Arc B580 باستخدام ذاكرة مؤقتة مكمّمة؛ لكن الإصدار لا يقدم ما يثبت تحسن سرعة معالجة المطالبات أو الأداء على أجهزة أخرى.
