La version b12099 du projet llama.cpp ajoute une prise en charge initiale de l’opération Lightning Indexer sur le matériel Hexagon. Les changements comprennent des chemins d’accélération HMX pour le préremplissage et le décodage, ainsi que la prise en charge du rassemblement en décodage q8_0 et des entrées q4_0. La page de la version répertorie des builds Linux et Android pour les appareils Snapdragon utilisant le CPU, le GPU Adreno et le NPU Hexagon ; elle propose également des guides de configuration.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp sur des appareils Snapdragon peuvent essayer cette nouvelle voie Hexagon, même si les notes de version ne fournissent aucun chiffre de performances ni détail sur la compatibilité des modèles.
