Het llama.cpp-project heeft een nieuwe versie uitgebracht met ondersteuning voor de SSM_SCAN-bewerking op Qualcomm's Hexagon-NPU. De update bevat kerneloptimalisaties, aanpassingen aan de DMA-pipeline en ondersteuning voor HMX. Ook zijn er meer platformbuilds, waaronder CUDA 13 en nieuwe configuraties voor Snapdragon-CPU’s, GPU’s en NPU’s. Max Krasnyansky van Qualcomm was mede-auteur van de wijziging.
Waarom het ertoe doet
Ontwikkelaars kunnen llama.cpp-modellen sneller uitvoeren op Snapdragon-telefoons met Hexagon-NPU’s.
