Das Team von ggml-org hat am 21. Okt. 2026 llama.cpp in Version b11790 veröffentlicht. Das Update bringt NEON-vektorisiertes Repacking für die Q4_0-Quantisierung und Multithreading für andere Typen, was die Leistung auf ARM-CPUs verbessert. Fertige Binärdateien gibt es jetzt für macOS auf Apple Silicon, iOS und verschiedene Linux-ARM-Builds. Ein Qualcomm-Ingenieur hat an den Änderungen mitgewirkt. Die Veröffentlichung umfasst außerdem Vulkan-Builds für Linux x64 und arm64.
Warum es wichtig ist
Auf ARM-basierten Laptops und Smartphones können Llama-Modelle schneller laufen. Dadurch wird der Einsatz lokaler KI praktischer.
