A versão b12099 do projeto llama.cpp adiciona suporte inicial à operação Lightning Indexer no hardware Hexagon. As mudanças incluem caminhos de aceleração HMX para prefill e decode, além de suporte à agregação de decode q8_0 e à entrada q4_0. A página da versão lista builds para Linux e Android em dispositivos Snapdragon, com uso da CPU, da GPU Adreno e da NPU Hexagon; ela também traz links para guias de configuração.
Por que importa
Desenvolvedores que usam llama.cpp em dispositivos Snapdragon podem testar o novo caminho Hexagon, embora as notas da versão não informem números de desempenho nem detalhes sobre compatibilidade com modelos.
