A equipe ggml-org lançou o llama.cpp b11345, que adiciona suporte aos tipos de quantização q2_k e q3_k no Hexagon. A quantização é uma forma de armazenar dados de modelos usando menos bits; as notas da versão não informam quais dispositivos ou modelos se beneficiam nem descrevem mudanças no desempenho.
A versão também oferece downloads para macOS, iOS e várias configurações de Linux, incluindo versões para CPU e Vulkan.
Por que importa
Quem executa o llama.cpp em hardware Hexagon compatível talvez possa usar modelos com quantização q2_k ou q3_k, mas as notas da versão não especificam a compatibilidade com dispositivos nem os efeitos no desempenho.
