Das ggml-org-Team hat llama.cpp in Version b11747 veröffentlicht. Enthalten sind vorgefertigte Pakete für macOS auf Apple-Silicon- und Intel-Macs sowie für iOS und mehrere Ubuntu-Versionen – darunter Builds für CPU, Vulkan und CUDA 12.8. Außerdem enthält die Veröffentlichung einen Patch, der die Größenanpassung von Qwen-VL an Transformers angleicht. Das passende Paket steht auf der GitHub-Seite zur Veröffentlichung zum Download bereit.
Warum es wichtig ist
Entwickler können LLaMA-Modelle auf mehr Hardware lokal ausführen, ohne sie selbst kompilieren zu müssen.
