ggml-orgチームがllama.cppのバージョンb11757をリリースしました。今回の更新では、従来のメモリプールをフラッシュした後にCUDAグラフをクリアするようになり、GPUメモリリークの低減が期待されます。Apple Silicon搭載Mac、Intel Mac、iOS、および複数のUbuntu環境(CPU、Vulkan、CUDA 12.8)向けのビルド済みバイナリも公開されました。リリースはGitHubで確認できます。
なぜ重要か
Nvidia GPUでLlamaモデルを実行する開発者は、この修正によりメモリ不足エラーが減ることが期待できます。