Oossa

llama.cpp får Hexagon-accelererad softplus

Biblioteket med öppen källkod llama.cpp kör nu softplus-aktiveringen på Qualcomms Hexagon-NPU, vilket ger bättre prestanda på Android-enheter som stöds.

NotisAv Publicerad av Oossa: 1 min läsning

Projektet llama.cpp släppte version b11703 den 17 okt 2026. Den innehåller en vektoriserad softplus-funktion som körs på Qualcomms Hexagon-NPU (HVX). Den nya hjälpfunktionen använder befintliga Hexagon-primitiver för exp och log, så matematiken är densamma som i CPU-versionen. Ändringen anges under Android arm64-bygget, som stöder Snapdragon-processorer, Adreno-GPU:er och Hexagon-NPU:er.

Varför det spelar roll

Utvecklare kan nu köra inferens med stora språkmodeller snabbare på telefoner med Hexagon-NPU:er, vilket utökar llama.cpp:s användningsområden med låg strömförbrukning.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.