Das Team von ggml-org hat llama.cpp in Version b11672 veröffentlicht. Enthalten sind vorkompilierte Binaries für macOS auf Apple Silicon und Intel, iOS sowie verschiedene Ubuntu-Konfigurationen mit CPU, Vulkan und CUDA. Außerdem weist das Release auf eine Änderung am mtmd-Tool lightonocr hin: Die längste Bildkante wird nicht mehr auf 1540 Pixel festgelegt; standardmäßig wird nun die native Bildgröße verwendet.
Warum es wichtig ist
Entwickler können LLaMA-Modelle jetzt auf mehr Hardwarekonfigurationen ausführen, ohne den Code selbst kompilieren zu müssen.
