Das ggml‑org-Team hat llama.cpp in Version b11465 veröffentlicht. Enthalten sind vorgefertigte Binärdateien für macOS auf Apple Silicon (arm64), macOS auf Intel (x64), iOS und mehrere Ubuntu-Varianten (CPU, Vulkan und CUDA 12.8). Außerdem wurde ein Test angepasst, damit beim Testen des rekurrenten Rollbacks der Anker erhalten bleibt. Alle Dateien stehen auf der GitHub-Release-Seite zum Download bereit.
Warum es wichtig ist
Entwickler können LLMs jetzt auf mehr Hardware lokal ausführen, ohne den Code selbst kompilieren zu müssen.
