Проект llama.cpp выпустил новую версию с поддержкой квантования Q1_0 и Q2_0 для Hexagon NPU от Qualcomm. В обновлении также изменили разбиение на тайлы и векторные скалярные произведения, чтобы снизить накладные расходы. Версия работает в сборках для Linux и Windows, рассчитанных на процессоры Snapdragon, графические процессоры Adreno и Hexagon NPU, а также на других платформах. Изменения описаны в руководстве для разработчиков и подтверждены аттестациями релиза.
Почему это важно
Разработчики смогут запускать более крупные языковые модели на телефонах и планшетах с чипами Snapdragon с меньшей задержкой и энергопотреблением.
