ggml-org heeft llama.cpp b11895 uitgebracht, met een oplossing voor overflow in offsets van grote matrixuitvoer op Metal. De wijziging vergroot ook de batchoffsets en tokenindexen die de bewerking MUL_MAT_ID gebruikt.
Op de releasepagina zijn downloads te vinden voor Apple Silicon- en Intel-Macs, iOS en verschillende Ubuntu-builds voor CPU en Vulkan.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp op Metal gebruiken, kunnen hiermee overflow in offsets van grote matrixuitvoer voorkomen. De release notes vermelden echter niet hoe vaak het probleem voorkwam of bij welke workloads het optrad.
