La versión b12099 del proyecto llama.cpp incorpora compatibilidad inicial con la operación Lightning Indexer en hardware Hexagon. Los cambios incluyen rutas con aceleración HMX para el prefill y la decodificación, además de compatibilidad con la recopilación de datos de decodificación q8_0 y entradas q4_0. La página de la versión ofrece compilaciones para Linux y Android en dispositivos Snapdragon que usan la CPU, la GPU Adreno y la NPU Hexagon; también incluye enlaces a guías de configuración.
Por qué importa
Los desarrolladores que usan llama.cpp en dispositivos Snapdragon pueden probar la nueva ruta Hexagon, aunque las notas de la versión no incluyen cifras de rendimiento ni detalles sobre la compatibilidad con modelos.
