O projeto llama.cpp lançou uma nova versão que adiciona suporte à operação SSM_SCAN na NPU Hexagon da Qualcomm. A atualização inclui otimizações de kernel, mudanças no pipeline de DMA e suporte a HMX. Também amplia as compilações para diferentes plataformas, com a inclusão do CUDA 13 e de novas configurações de CPU, GPU e NPU Snapdragon. A mudança foi coescrita por Max Krasnyansky, da Qualcomm.
Por que importa
Desenvolvedores podem executar modelos do llama.cpp com mais rapidez em celulares Snapdragon equipados com NPU Hexagon.
