Oossa

llama.cpp b11784 behebt Sycl-iq3-Absturz

Das Open-Source-LLM-Tool llama.cpp erscheint in Version b11784 mit einem Absturzfix für Sycl iq3 und neuen Builds für macOS, iOS, Linux und CUDA.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das Team von ggml-org hat llama.cpp in Version b11784 veröffentlicht. Die Version behebt einen Absturz im Sycl-iq3-Backend. Außerdem gibt es vorgefertigte Binärdateien für Apple Silicon, Intel-Macs, iOS und verschiedene Ubuntu-Konfigurationen, darunter Vulkan und CUDA 12.8. Die Binärdateien stehen auf der GitHub-Release-Seite zum Download bereit.

Warum es wichtig ist

Entwickler können llama.cpp damit auf mehr Hardware ohne Abstürze ausführen. Das erweitert den Zugang zu lokaler LLM-Inferenz.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.