Oossa

llama.cpp b12367、CUDAビルドにSM103対応を追加

llama.cppの新バージョンでは、SM103向けにネイティブコンパイルされていないCUDAビルドにもSM103の機械語を追加。複数のプラットフォーム向けダウンロードも用意されています。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームは、CUDA関連の変更を含むllama.cpp b12367をリリースしました。ネイティブビルドではない場合にも、SM103のSASS(GPU機械語)を追加しています。これにより、SM103向けに特化してコンパイルされていないビルドでも、SM103ハードウェア向けのコードを実行できる可能性があります。

このリリースでは、macOS、iOSおよび複数のLinuxシステム向けのビルドもダウンロードできます。リリースノートには、どのGPUがSM103を採用しているかや、性能に関する結果は記載されていません。

なぜ重要か

SM103を対象とするNvidia製ハードウェアでllama.cppを使うユーザーは、ネイティブビルドでないCUDAビルドを利用できる可能性があります。ただし、リリースノートには対象となるGPUのモデルも、速度の変化を測定した結果も記載されていません。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。