オープンソースのllama.cppライブラリは、2026年10月15日にバージョンb11632をリリースした。CUDAとHIPの両方にチャンク型GDN(Gaussian-Diffusion-Normalization)カーネルを追加し、GPU対応を強化した。正確性の検証とプリフィルのベンチマークを経て、RTX 3090やRTX 4090を含む、テスト済みのAmpereおよびAda世代GPUでSM86とSM89の命令セットが有効になった。旧バージョンのビルドにも修正を加え、GDNのMMA(行列積和演算)処理にはリファクタリングしたswizzle APIを採用した。
なぜ重要か
最近のNvidia GPUで、開発者はより高速で信頼性の高いllama.cpp推論を実現できる。