Die Open-Source-Bibliothek llama.cpp hat am 16. Okt. 2026 die Version b11680 veröffentlicht. Das Update überarbeitet den Code für Hexagon-NPUs: Ein Workaround entfällt, Tensor-Repacking für F16-/F32-/BF16-Gewichte kommt hinzu, außerdem werden gekacheltes Q5_K-get-rows und rohe K-Quant-Tensoren unterstützt. Zudem räumen die Änderungen zahlreiche interne Kernel auf und verbessern die Leistung auf mehreren Backends, darunter CPU, CUDA, Vulkan und Geräte mit Hexagon-Unterstützung. Das Projekt bietet Builds für macOS, Linux, Android, Windows und verschiedene openEuler-Konfigurationen an.
Warum es wichtig ist
Entwickler können llama.cpp-Modelle jetzt effizienter auf Smartphones mit Hexagon und anderer spezialisierter Hardware ausführen.
