Die Open-Source-Bibliothek llama.cpp ist am 2026-10-17 in Version b11706 erschienen. Das Update behebt eine Regression bei der SYCL-Promptverarbeitung, die nach einer Neuanordnung der Gewichte für die Formate Q4_0/Q8_0 auftrat. Außerdem enthält es neue vorgefertigte Binärversionen für macOS mit Apple Silicon, Intel und iOS sowie für verschiedene Linux-Konfigurationen, darunter CPU, Vulkan und CUDA 12.8. Die Builds können auf der GitHub-Release-Seite heruntergeladen werden.
Warum es wichtig ist
Entwickler können llama.cpp nun auf SYCL-kompatiblen GPUs ohne Fehler bei der Promptverarbeitung ausführen. Das erweitert die Hardwareauswahl für den lokalen Einsatz großer Sprachmodelle.
