ggml-org hat llama.cpp in Version b12088 veröffentlicht. Das Update unterstützt das Modellformat NVFP4 LFM3 und enthält vorgefertigte Binärdateien für Apple Silicon, Intel-Macs, iOS und verschiedene Ubuntu-Konfigurationen, darunter reine CPU- und Vulkan-Builds. Der macOS-Build für Apple Silicon mit KleidiAI ist aufgeführt, derzeit aber deaktiviert. Alle Dateien stehen auf der GitHub-Release-Seite zum Download bereit.
Warum es wichtig ist
Entwickler können llama.cpp jetzt mit dem neuen Modellformat ausführen und auf fertige Binärdateien für weitere Plattformen zurückgreifen. Das verkürzt die Einrichtungszeit.
