Oossa

llama.cpp、幅512超に対応するCUDAカーネルを追加

2026年10月8日のリリースで、NVIDIA GPU向けに幅1,024〜8,192を処理できる新しい高速フーリエ・アダマール変換カーネルが追加されました。

短信著者: Oossa公開日: 1 分で読める

llama.cppプロジェクトは2026年10月8日、バージョンb11482をリリースしました。幅512を超えるブロックに対応するCUDA FWHTカーネルが追加され、FP32とFP16の両方で幅1,024〜8,192を処理できるようになりました。この変更では既存のF16基盤を再利用しており、A10 GPUでテストに合格しています。既存のワープ幅カーネル(64〜512)に変更はありません。

なぜ重要か

GPUユーザーは、llama.cppでより幅の大きい行列乗算をより高速に実行できるようになります。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。