Het ggml-org-team heeft llama.cpp b11345 uitgebracht, met ondersteuning voor de kwantisatietypen q2_k en q3_k op Hexagon. Bij kwantisatie worden modelgegevens met minder bits opgeslagen. In de release notes staat niet welke apparaten of modellen hiervan profiteren, en evenmin of de prestaties veranderen.
De release bevat ook downloads voor macOS, iOS en verschillende Linux-configuraties, waaronder CPU- en Vulkan-builds.
Waarom het ertoe doet
Wie llama.cpp op ondersteunde Hexagon-hardware gebruikt, kan mogelijk modellen met q2_k- of q3_k-kwantisatie draaien. De release notes vermelden echter niet welke apparaten compatibel zijn of wat de gevolgen voor de prestaties zijn.
