Das Team von ggml-org hat llama.cpp in Version b12361 veröffentlicht. Das Update verlagert den MOE-Cache-Code aus der internen Graphenverarbeitung und bietet neue vorgefertigte Binärdateien für macOS (Apple Silicon und Intel), iOS sowie verschiedene Ubuntu-Varianten, darunter CPU- und Vulkan-Builds. Eine Binärdatei für macOS auf Apple Silicon mit KleidiAI-Unterstützung ist aufgeführt, derzeit aber deaktiviert. Alle Dateien können über die GitHub-Release-Seite heruntergeladen werden.
Warum es wichtig ist
Entwickler können llama.cpp nun auf mehr Plattformen lokal nutzen, ohne den Quellcode selbst kompilieren zu müssen. Das beschleunigt das Experimentieren.
