Het ggml-org-team heeft versie b11757 van llama.cpp uitgebracht. De update wist CUDA-graphs na het legen van een verouderde geheugenpool, wat GPU-geheugenlekken moet verminderen. Er zijn nu vooraf gebouwde binaries beschikbaar voor macOS op Apple Silicon, macOS op Intel, iOS en verschillende Ubuntu-versies (CPU, Vulkan en CUDA 12.8). De release is gepubliceerd op GitHub.
Waarom het ertoe doet
Ontwikkelaars die Llama-modellen op Nvidia-GPU's draaien, krijgen door deze oplossing minder vaak te maken met fouten door onvoldoende geheugen.
