Das Team von ggml-org hat llama.cpp b11277 veröffentlicht. Das Update behebt einen Fehler beim Zurücksetzen von Puffern, der zu Speicherlecks führte. Außerdem enthält es vorgefertigte Binärdateien für macOS (Apple Silicon und Intel), iOS und verschiedene Ubuntu-Varianten, darunter Versionen mit Vulkan- und CUDA-GPU-Unterstützung. Die Dateien können direkt von der Release-Seite heruntergeladen werden.
Warum es wichtig ist
Die Behebung des Speicherlecks erhöht die Stabilität für Entwickler, die LLMs lokal ausführen. Dank der vorgefertigten Binärdateien lässt sich llama.cpp außerdem leichter auf weiteren Plattformen ausprobieren.
