Oossa

llama.cpp verhelpt DMA-probleem met grote strides op Hexagon

Release b12030 corrigeert onjuiste geheugenadressen bij een fallback voor Hexagon-DMA-transfers met strides van 16 MB of meer.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Release b12030 van ggml-org/llama.cpp verhelpt een bug in geheugenoverdracht op Hexagon bij strides van 16 MB of meer. Op Hexagon v75 en hoger staan de rijgroottes en strides in de DMA-descriptor als 24-bits waarden. De oude fallback verdeelde transfers weliswaar op basis van het aantal rijen, maar kon te grote strides nog steeds afkappen, waardoor onjuiste adressen ontstonden. De oplossing voert in dat geval één transfer per rij uit. De release voegt ook twee CONT-tests toe met bron-strides van meer dan 16 MB.

Waarom het ertoe doet

Voor wie llama.cpp op getroffen Hexagon-hardware gebruikt, moet de oplossing onjuiste geheugenadressen voorkomen bij transfers met zeer grote strides. In de releasenotities staat niet bij welke workloads dit probleem optreedt.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.