Oossa

llama.cpp b11977 rättar fel i OpenVINO:s hantering av SCALE-vyer

Uppdateringen åtgärdar ett fel där hela källtensoren kunde skalas i stället för en delvy, vilket kunde leda till att resultatbufferten överskreds.

NotisAv Publicerad av Oossa: 1 min läsning

ggml-org:s version b11977 av llama.cpp rättar till hur OpenVINO-bakänden hanterar SCALE-operationer på delvyer av tensorer. Tidigare kunde en vy med stegvis minneslayout behandlas som hela källtensoren, vilket gav ett för stort resultat och kunde få tester att krascha.

Ändringen behandlar vyn som en delmängd och tillåter inte SCALE på plats för vyer som inte ligger sammanhängande i minnet, eftersom en återkopiering av resultatet då kunde skriva till fel element. Versionen listar också byggen för bland annat macOS, Linux, Android och Windows.

Varför det spelar roll

För utvecklare som använder llama.cpp:s OpenVINO-bakände med tensorer i delvyer åtgärdar detta ett fall som kunde få tester att krascha eller skriva resultat till fel element.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.