ggml-orgがメンテナンスするllama.cppライブラリは、Oct 13 2026にバージョンb11597をリリースしました。今回の更新では計算グラフが変更され、コンテキストからプーリング埋め込みを抽出する際、大規模なLMヘッドのロジット層をモデルが構築しなくなりました。これにより、メモリ使用量が減り、埋め込みのみを扱うタスクの推論が高速化します。また、形状の一貫性を保つため、関連する計算グラフのノードも調整されています。
なぜ重要か
埋め込みを抽出する開発者は、llama.cppのモデルをより高速に、より小規模なハードウェアで実行できます。