ggml-org-teamet har släppt llama.cpp b12102 med en ändring av hur minnesintervallet för tensorvyer med stride kontrolleras. Den tidigare kontrollen kunde avvisa vyer där raderna överlappade, trots att de rymdes inom källan, och samtidigt godkänna vissa vyer med större stride som sträckte sig utanför den.
De uppdaterade vyfunktionerna skickar sina strides till tensorkonstruktorn, som kontrollerar vilka byte som faktiskt nås via vyn. I versionen finns också en kontroll som kräver att en vy med stride börjar med sammanhängande element längs sin första dimension. Byggpaket listas för bland annat macOS, Linux, Android och Windows.
Varför det spelar roll
För utvecklare som använder llama.cpp kan den ändrade kontrollen hindra tensorvyer som går utanför minnesområdet från att passera valideringen. Versionsinformationen anger inte hur detta påverkar modellernas prestanda.
