El proyecto llama.cpp publicó una nueva versión que añade cuantización Q1_0 y Q2_0 para Hexagon NPU de Qualcomm. La actualización también ajusta el teselado y las operaciones de producto escalar vectorial para reducir la sobrecarga. Funciona en versiones para Linux y Windows destinadas a CPU Snapdragon, GPU Adreno y NPU Hexagon, así como en otras plataformas. Los cambios están documentados en la guía para desarrolladores y firmados en las atestaciones de la versión.
Por qué importa
Los desarrolladores ahora pueden ejecutar modelos de lenguaje más grandes en teléfonos y tabletas basados en Snapdragon, con menor latencia y consumo de energía.
