llama.cppプロジェクトは2026年10月9日、新しい先行リリースb11517を公開しました。このアップデートでは、GPUコードの低レベル部分にあたるMMQヘルパーにソース1の精度を渡せるCUDAオプションが追加されています。この変更はNVIDIAのコントリビューターが署名したもので、LinuxおよびWindows向けに掲載されているCUDA 12と13のビルドに適用されます。また、macOSのApple SiliconからAndroidのSnapdragonまで、ほかにも多くのプラットフォーム向けのビルドターゲットが含まれています。
アップデートはプロジェクトのGitHubページとllama.appのウェブサイトから入手できます。
なぜ重要か
開発者はllama.cppでGPUの精度を制御できるようになり、LLaMAモデルの実行時にパフォーマンスやメモリ使用量が改善する可能性があります。
