llama.cpp、b11351で新たなバッファ割り当てAPIを追加

2026年10月2日のアップデートで、ggmlのバッファインターフェースにalloc_buffer_nが加わり、複数デバイスでのメモリ管理が改善される。

短信OossaOossa公開日: 2026年10月2日 19:07 UTC1 分で読める

ggml-org/llama.cppプロジェクトは2026-10-02にバージョンb11351をリリースした。今回のアップデートでは、ggml_backend_buffer_type_iインターフェースにalloc_buffer_nメソッドが追加され、公開APIとしてggml_backend_buft_alloc_buffer_nが導入された。デフォルト実装は、複数デバイスにまたがるバッファの分割と、テンソル割り当ての改善に対応する。CPU、Metal、OpenVINOなど既存のバッファタイプでは、新メソッドにNULLのプレースホルダーが設定される。この新機能を対象としたテストも追加された。