A equipe ggml-org lançou o llama.cpp b11849, que adiciona suporte à operação SGN no Hexagon, arquitetura de processadores da Qualcomm. Segundo as notas da versão, a mudança inclui suporte a meia precisão e uma otimização que usa o bit de sinal.
A versão também oferece builds para macOS, iOS e Ubuntu, incluindo builds para CPU em x64, arm64 e s390x. As notas não especificam quais dispositivos ou cargas de trabalho terão uma melhora prática de velocidade ou desempenho.
Por que importa
Desenvolvedores que usam llama.cpp com hardware Hexagon podem aproveitar a nova operação SGN, mas as notas da versão não quantificam seu impacto no desempenho dos modelos.
