Het team achter ggml-org heeft versie b12329 van llama.cpp uitgebracht. De update bevat een CUDA-optimalisatie die de verwerking van gewichtsschalen samenvoegt met schrijfbewerkingen voor matrixvermenigvuldiging, waardoor nvfp4-checkpoints sneller worden uitgevoerd. Ook zijn er nieuwe vooraf gebouwde binaries voor Apple Silicon, Intel-macs, iOS en verschillende Linux-varianten. De wijzigingen zijn te downloaden via de GitHub-releasepagina.
Waarom het ertoe doet
Ontwikkelaars kunnen Llama-modellen sneller uitvoeren op NVIDIA-GPU's en krijgen kant-en-klare binaries voor meer platforms.
