O projeto llama.cpp lançou uma nova versão com suporte à quantização Q1_0 e Q2_0 para a NPU Hexagon da Qualcomm. A atualização também ajusta o tiling e as operações de produto escalar vetorial para reduzir a sobrecarga. Ela funciona em versões para Linux e Windows destinadas a CPUs Snapdragon, GPUs Adreno e NPUs Hexagon, além de outras plataformas. As mudanças estão documentadas no guia do desenvolvedor e registradas nas atestações da versão.
Por que importa
Desenvolvedores agora podem executar modelos de linguagem maiores em celulares e tablets com chips Snapdragon, com menor latência e consumo de energia.
