Oossa

llama.cpp får stöd för SSM_SCAN på Hexagon

Biblioteket llama.cpp med öppen källkod stöder nu SSM_SCAN på Qualcomms Hexagon-NPU, vilket förbättrar prestandan på Snapdragon-enheter.

NotisAv Publicerad av Oossa: 1 min läsning

Projektet llama.cpp har släppt en ny version med stöd för operationen SSM_SCAN på Qualcomms Hexagon-NPU. Uppdateringen innehåller kärnoptimeringar, ändringar i DMA-pipelinen och stöd för HMX. Den utökar också plattformsbyggena med CUDA 13 och nya konfigurationer för Snapdragon med CPU, GPU och NPU. Ändringen har skrivits tillsammans med Max Krasnyansky från Qualcomm.

Varför det spelar roll

Utvecklare kan köra llama.cpp-modeller snabbare på Snapdragon-telefoner med Hexagon-NPU:er.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.