Le projet llama.cpp a publié une nouvelle version qui prend en charge l’opération SSM_SCAN sur le NPU Hexagon de Qualcomm. La mise à jour comprend des optimisations de noyau, des modifications du pipeline DMA et la prise en charge de HMX. Elle élargit aussi les configurations de compilation selon les plateformes, avec l’ajout de CUDA 13 et de nouvelles configurations Snapdragon combinant CPU, GPU et NPU. Max Krasnyansky, de Qualcomm, a coécrit cette modification.
Pourquoi c'est important
Les développeurs peuvent exécuter plus rapidement des modèles llama.cpp sur les téléphones Snapdragon équipés de NPU Hexagon.
