Das Team von ggml-org hat llama.cpp in Version b11796 veröffentlicht. Das Update ergänzt ein neues Zustandsobjekt für die Funktion mtmd_gen. Außerdem gibt es vorkompilierte Binärdateien für macOS (Apple Silicon und Intel), iOS sowie mehrere Ubuntu-Varianten, darunter CPU-, Vulkan- und CUDA-12.8-Builds.
Warum es wichtig ist
Entwickler können llama.cpp nun auf mehr Hardware ausführen – insbesondere auf GPUs mit CUDA 12.8 –, ohne die Software selbst kompilieren zu müssen.