Das Team von ggml-org hat llama.cpp in Version b11757 veröffentlicht. Das Update löscht CUDA Graphs nach dem Leeren eines veralteten Speicherpools, wodurch GPU-Speicherlecks reduziert werden sollen. Vorgefertigte Binärdateien gibt es jetzt für macOS auf Apple Silicon, macOS auf Intel, iOS sowie mehrere Ubuntu-Versionen (CPU, Vulkan und CUDA 12.8). Die Veröffentlichung ist auf GitHub verfügbar.
Warum es wichtig ist
Entwickler, die Llama-Modelle auf Nvidia-GPUs ausführen, dürften dank der Fehlerbehebung seltener auf Fehler wegen unzureichenden GPU-Speichers stoßen.
