llama.cpp b12322、メモリ使用量を抑える変更を追加

オープンソースのLLaMA推論ライブラリが2026年11月12日に更新され、使われないグラフのメタデータを読み込まないことで、開発者のRAM使用量を削減する。

短信著者： OossaOossa公開日: 2026年11月12日 19:26 UTC1 分で読める

ggml-orgチームは2026年11月12日、llama.cppのタグb12322を公開した。この変更では、グラフの結果に必要なメタデータだけを割り当て、予約領域全体を初期化しないようにした。これにより、推論時にライブラリが使用するRAMの量が減る。

この更新は、macOSやWindowsのCPU環境から、Linux向けのCUDA、Vulkan、OpenVINOビルドまで、記載されているすべてのプラットフォームで利用できる。

なぜ重要か

メモリ容量に限りのあるデバイスでLLaMAモデルを動かす開発者は、RAM使用量の低減により、より大きなモデルを実行したり、複数の作業をよりスムーズに並行したりできる。

1 件の出典

この記事は役に立ちましたか？

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。