Het team van ggml-org heeft versie b12345 van llama.cpp uitgebracht. De update voegt ondersteuning toe voor Q5_0- en Q5_1-kwantisering, een 5-bitscompressie die inferentie kan versnellen. Ook bevat de update speciale kernels voor deze formaten op Hexagon-apparaten. Er zijn kant-en-klare binaries beschikbaar voor macOS Apple Silicon, macOS Intel, iOS en verschillende Ubuntu-versies, waaronder varianten die alleen de CPU gebruiken en varianten met Vulkan.
Waarom het ertoe doet
Ontwikkelaars kunnen LLM's sneller uitvoeren op hardware met een laag stroomverbruik, waardoor meer apparaten geschikt zijn voor lokale AI-modellen.
