ggml-org har släppt llama.cpp b11895, som innehåller en åtgärd mot överflöde i offsetar för stora matrisutdata i Metal. Ändringen breddar också batch-offsetar och tokenindex som används av operationen MUL_MAT_ID.
På releasesidan finns nedladdningar för Apple Silicon- och Intel-Macar, iOS samt flera Ubuntu-versioner för CPU och Vulkan.
Varför det spelar roll
Utvecklare som kör llama.cpp med Metal kan slippa offsetöverflöden i stora matrisutdata, men versionsinformationen säger inte hur ofta problemet uppstod eller vilka arbetslaster som utlöser det.
