ggml-org hat llama.cpp b11895 mit einer Fehlerbehebung für Überläufe bei Offsets großer Matrixausgaben unter Metal veröffentlicht. Außerdem erweitert die Änderung die Batch-Offsets und Tokenindizes, die von der Operation MUL_MAT_ID verwendet werden.
Auf der Release-Seite stehen Downloads für Macs mit Apple Silicon und Intel-Prozessoren, iOS sowie mehrere Ubuntu-Builds für CPU und Vulkan bereit.
Warum es wichtig ist
Entwickler, die llama.cpp mit Metal ausführen, können Überläufe bei Offsets großer Matrixausgaben möglicherweise vermeiden. In den Release-Hinweisen steht jedoch nicht, wie häufig das Problem auftrat oder bei welchen Workloads es ausgelöst wird.
