A versão b11971 do ggml-org’s llama.cpp adiciona uma operação matricial OpenCL q4_K em blocos para GPUs Adreno. A mudança também direciona a camada de saída do modelo de linguagem q4_K para essa operação quando o tamanho do lote é maior que um.
A versão inclui builds para download de macOS, iOS e várias plataformas Linux. As notas de lançamento não apresentam medições de desempenho, então não está claro o impacto da mudança para Adreno na velocidade ou no uso de recursos.
Por que importa
Desenvolvedores que executam o llama.cpp em hardware Adreno podem testar o novo caminho OpenCL, mas as notas de lançamento não informam se ele torna a inferência mais rápida.
