El proyecto llama.cpp publicó una nueva versión que añade compatibilidad con la operación SSM_SCAN en la NPU Hexagon de Qualcomm. La actualización incluye optimizaciones del kernel, cambios en la canalización DMA y compatibilidad con HMX. También amplía las compilaciones para distintas plataformas: añade CUDA 13 y nuevas configuraciones para CPU, GPU y NPU de Snapdragon. Max Krasnyansky, de Qualcomm, participó como coautor del cambio.
Por qué importa
Los desarrolladores pueden ejecutar modelos de llama.cpp más rápido en teléfonos Snapdragon con NPU Hexagon.
