Le projet llama.cpp a publié une nouvelle version qui ajoute la quantification Q1_0 et Q2_0 pour le Hexagon NPU de Qualcomm. La mise à jour ajuste également le tuilage et les opérations de produit scalaire vectoriel afin de réduire la surcharge. Elle est compatible avec les compilations Linux et Windows ciblant les processeurs Snapdragon, les GPU Adreno et les NPU Hexagon, ainsi qu’avec d’autres plateformes. Ces changements sont documentés dans le guide destiné aux développeurs et attestés par les signatures de publication.
Pourquoi c'est important
Les développeurs peuvent désormais exécuter des modèles de langage plus volumineux sur des téléphones et tablettes équipés de puces Snapdragon, avec une latence et une consommation d’énergie réduites.
