Oossa

llama.cpp b11757、CUDAグラフ処理を修正

オープンソースのLlama推論ライブラリがバージョンb11757を公開。CUDAグラフ処理の修正に加え、macOS、iOS、Linux向けの新しいバイナリを提供します。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームがllama.cppのバージョンb11757をリリースしました。今回の更新では、従来のメモリプールをフラッシュした後にCUDAグラフをクリアするようになり、GPUメモリリークの低減が期待されます。Apple Silicon搭載Mac、Intel Mac、iOS、および複数のUbuntu環境(CPU、Vulkan、CUDA 12.8)向けのビルド済みバイナリも公開されました。リリースはGitHubで確認できます。

なぜ重要か

Nvidia GPUでLlamaモデルを実行する開発者は、この修正によりメモリ不足エラーが減ることが期待できます。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。