أصدر مشروع llama.cpp نسخة جديدة تضيف دعم التكميم Q1_0 وQ2_0 لوحدة Hexagon NPU من Qualcomm. ويتضمن التحديث أيضًا تعديلات على تقسيم البيانات إلى كتل وعمليات الضرب النقطي للمتجهات لتقليل الأعباء. وهو يعمل على إصدارات Linux وWindows الموجّهة إلى معالجات Snapdragon ووحدات معالجة الرسوميات Adreno ووحدات Hexagon NPU، إلى جانب منصات أخرى. ووُثّقت التغييرات في دليل المطورين، ووُقّعت ضمن بيانات اعتماد الإصدار.
لماذا يهم
بات بإمكان المطورين تشغيل نماذج لغوية أكبر على الهواتف والأجهزة اللوحية المزودة بشرائح Snapdragon، مع زمن استجابة واستهلاك للطاقة أقل.
