ggml-orgチームは、CUDA関連の変更を含むllama.cpp b12367をリリースしました。ネイティブビルドではない場合にも、SM103のSASS(GPU機械語)を追加しています。これにより、SM103向けに特化してコンパイルされていないビルドでも、SM103ハードウェア向けのコードを実行できる可能性があります。
このリリースでは、macOS、iOSおよび複数のLinuxシステム向けのビルドもダウンロードできます。リリースノートには、どのGPUがSM103を採用しているかや、性能に関する結果は記載されていません。
なぜ重要か
SM103を対象とするNvidia製ハードウェアでllama.cppを使うユーザーは、ネイティブビルドでないCUDAビルドを利用できる可能性があります。ただし、リリースノートには対象となるGPUのモデルも、速度の変化を測定した結果も記載されていません。