Het team van ggml-org heeft llama.cpp versie b11487 uitgebracht. De update voegt ondersteuning toe voor GET_ROWS met getegelde Q4_K- en Q6_K-formaten op Hexagon-processors en verbetert de verwerking van Q4_K-weergaven. Er zijn vooraf gebouwde binaries beschikbaar voor Apple Silicon, Intel-macs, iOS en verschillende Ubuntu-versies (CPU en Vulkan). De update is te downloaden via de GitHub-releasepagina.
Waarom het ertoe doet
Ontwikkelaars kunnen nu efficiëntere Llama-modellen draaien op apparaten met Hexagon, zoals chips van Qualcomm. Dat verbetert de prestaties op ondersteunde mobiele en embedded hardware.
