Die Open-Source-Bibliothek llama.cpp ist in Version b11500 erschienen. Sie enthält sofort ausführbare Binaries für Apple-Silicon-Macs, Intel-Macs, iOS und verschiedene Ubuntu-Systeme (CPU, Vulkan und CUDA). Außerdem behebt das Update einen Fehler bei der Speicherverwaltung auf niedriger Ebene (hex-mmadd). Die Dateien stehen auf der GitHub-Release-Seite zum Download bereit.
Warum es wichtig ist
Entwickler können llama.cpp jetzt auf mehr Geräten lokal ausführen, ohne es selbst kompilieren zu müssen.
