Il team ggml-org ha rilasciato llama.cpp versione b11757. L’aggiornamento svuota i grafi CUDA dopo il flush del pool di memoria legacy, riducendo così le perdite di memoria GPU. Sono ora disponibili binari precompilati per macOS su Apple Silicon, macOS su Intel, iOS e diverse build di Ubuntu (CPU, Vulkan e CUDA 12.8). La release è pubblicata su GitHub.
Perché conta
Gli sviluppatori che eseguono modelli Llama su GPU Nvidia dovrebbero riscontrare meno errori di memoria esaurita grazie alla correzione.
