Das Projekt llama.cpp hat am 17. Okt. 2026 Version b11703 veröffentlicht. Sie enthält eine vektorisierte Softplus-Funktion, die auf Qualcomms Hexagon NPU (HVX) läuft. Die neue Hilfsfunktion nutzt vorhandene Hexagon-Primitiven für exp und log, sodass die Berechnung der CPU-Version entspricht. Die Änderung ist für den Android-arm64-Build aufgeführt, der Snapdragon-CPUs, Adreno-GPUs und Hexagon-NPUs unterstützt.
Warum es wichtig ist
Entwickler können die Inferenz von LLMs nun auf Smartphones mit Hexagon-NPUs schneller ausführen und damit die stromsparenden Einsatzmöglichkeiten von llama.cpp erweitern.
