Das llama.cpp-Projekt hat eine neue Version veröffentlicht, die Unterstützung für die SSM_SCAN-Operation auf Qualcomms Hexagon-NPU bietet. Das Update umfasst Kernel-Optimierungen, Änderungen an der DMA-Pipeline und HMX-Unterstützung. Außerdem wurde die Unterstützung für Plattform-Builds erweitert: Hinzugekommen sind CUDA 13 sowie neue Konfigurationen für Snapdragon-CPU, -GPU und -NPU. Mitverfasst wurde die Änderung von Max Krasnyansky von Qualcomm.
Warum es wichtig ist
Entwickler können llama.cpp-Modelle auf Snapdragon-Smartphones mit Hexagon-NPUs schneller ausführen.
