ggml-org-teamet har släppt llama.cpp b11345, med stöd för kvantiseringstyperna q2_k och q3_k på Hexagon. Kvantisering innebär att modelldata lagras med färre bitar. I versionsinformationen framgår det inte vilka enheter eller modeller som har nytta av stödet, eller om det innebär några prestandaförändringar.
Versionen finns också att ladda ner för macOS, iOS och flera Linux-konfigurationer, bland annat med byggen för CPU och Vulkan.
Varför det spelar roll
Den som kör llama.cpp på maskinvara med stöd för Hexagon kan nu eventuellt använda modeller med q2_k- eller q3_k-kvantisering. Versionsinformationen specificerar dock inte vilka enheter som är kompatibla eller hur prestandan påverkas.
