Das Release b12099 des llama.cpp-Projekts bietet erste Unterstützung für den Lightning-Indexer auf Hexagon-Hardware. Die Änderungen umfassen HMX-Beschleunigungspfade für Prefill und Decode sowie Unterstützung für das q8_0-Decode-Gathering und q4_0-Eingaben. Auf der Release-Seite sind Linux- und Android-Builds für Snapdragon-Geräte aufgeführt, die CPU, Adreno-GPU und Hexagon-NPU nutzen; außerdem verlinkt sie auf Einrichtungsanleitungen.
Warum es wichtig ist
Entwickler, die llama.cpp auf Snapdragon-Geräten nutzen, können den neuen Hexagon-Pfad ausprobieren. Die Release Notes nennen jedoch weder Leistungswerte noch Details zur Modellkompatibilität.
