Oossa

llama.cpp b11913 lägger till inställning för Hexagons minnesstorlek

Den nya versionen av llama.cpp gör det möjligt att ange storleken på Hexagons VTCM, med suffixen K, M eller G.

NotisAv Publicerad av Oossa: 1 min läsning

ggml-org-teamets version llama.cpp b11913 lägger till en inställning för att åsidosätta storleken på VTCM, en minnesresurs som används av Hexagon-backenden. Inställningen heter `GGML_HEXAGON_VTCM_SIZE` och godtar suffixen K, M eller G.

Versionsinformationen visar också att ett föreslaget tak för `NTHREADS` senare togs bort. Den anger varken någon standardstorlek för VTCM eller hur ändringen påverkar prestandan.

Varför det spelar roll

Den som kör llama.cpp med Hexagon-hårdvara kan åsidosätta VTCM-storleken, men versionsinformationen säger inte vilket värde som bör användas eller om det förbättrar prestandan.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.