A equipe ggml-org lançou o llama.cpp b12031 com suporte inicial a IQ3 via OpenCL, dois formatos compactos de pesos de modelos. A atualização adiciona operações para IQ3_S e IQ3_XXS, incluindo operações de matriz e vetor, além de caminhos específicos para GPUs Adreno da Qualcomm.
As notas da versão também mencionam otimizações de decodificação e suporte a lotes menores em GPUs Adreno. Não há comparações de velocidade, portanto a mudança prática no desempenho não foi informada.
Por que importa
Desenvolvedores que usam o llama.cpp em GPUs Adreno podem testar esses caminhos OpenCL com modelos IQ3, mas as notas da versão não confirmam se eles são mais rápidos nem quais dispositivos se beneficiam mais.
