Die Open-Source-Bibliothek llama.cpp ist am 12. Okt. 2026 in Version b11560 erschienen. Sie bietet nun IM2COL_3D-Unterstützung für Qualcomms Hexagon-NPU, einschließlich DMA-Pfaden und Korrekturen bei der FP16-Verarbeitung. Außerdem entfernt das Update ineffiziente Schleifen und verbessert die Thread-Verwaltung. Es gibt Builds für zahlreiche Plattformen – von macOS- und Windows-CPUs bis hin zu Android-Geräten mit Snapdragon-CPUs, Adreno-GPUs und Hexagon-NPUs.
Warum es wichtig ist
Entwickler können llama.cpp-Modelle nun schneller auf Snapdragon-Smartphones ausführen, die mit einer Hexagon-NPU ausgestattet sind.
