Projektet llama.cpp har släppt en ny version med stöd för operationen SSM_SCAN på Qualcomms Hexagon-NPU. Uppdateringen innehåller kärnoptimeringar, ändringar i DMA-pipelinen och stöd för HMX. Den utökar också plattformsbyggena med CUDA 13 och nya konfigurationer för Snapdragon med CPU, GPU och NPU. Ändringen har skrivits tillsammans med Max Krasnyansky från Qualcomm.
Varför det spelar roll
Utvecklare kan köra llama.cpp-modeller snabbare på Snapdragon-telefoner med Hexagon-NPU:er.