В выпуске проекта llama.cpp b12099 добавлена начальная поддержка операции Lightning Indexer на оборудовании Hexagon. Изменения включают ускорение HMX для prefill и decode, а также поддержку сбора данных при decode в формате q8_0 и входных данных q4_0. На странице релиза доступны сборки для Linux и Android для устройств Snapdragon, использующие CPU, графический процессор Adreno и NPU Hexagon; там же есть ссылки на инструкции по настройке.
Почему это важно
Разработчики, использующие llama.cpp на устройствах Snapdragon, могут опробовать новый путь для Hexagon. При этом в примечаниях к релизу нет данных о производительности или совместимости с моделями.
