Oossa

llama.cpp b11792、GPU上にデータを保持する機能を追加

オープンソースのLLMランタイムが新しいバイナリを公開。データをGPU上により長く保持する最適化も加わった。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームは2026-10-21、llama.cppのバージョンb11792を公開した。今回の更新ではset_rows呼び出しが変更され、データをGPU上に保持できるようになり、GPU利用時の処理速度が向上する。ビルド済みバイナリは、macOS Apple Silicon、macOS Intel、iOSのほか、Ubuntu向けの複数ビルド(CPU、Vulkan、CUDA 12.8)で利用できる。リリースへのリンクはGitHubのタグページに掲載されている。

リリースノートには、この変更について「d2tをset_rowsでの使用箇所の近くに配置し、GPU上に保持できるようにした(#30912)」と記載されている。

なぜ重要か

対応GPUでLlamaモデルを実行する開発者は、余分なデータ転送を減らして処理を高速化できる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。