Das Team von ggml-org hat llama.cpp in Version b11784 veröffentlicht. Die Version behebt einen Absturz im Sycl-iq3-Backend. Außerdem gibt es vorgefertigte Binärdateien für Apple Silicon, Intel-Macs, iOS und verschiedene Ubuntu-Konfigurationen, darunter Vulkan und CUDA 12.8. Die Binärdateien stehen auf der GitHub-Release-Seite zum Download bereit.
Warum es wichtig ist
Entwickler können llama.cpp damit auf mehr Hardware ohne Abstürze ausführen. Das erweitert den Zugang zu lokaler LLM-Inferenz.