Oossa

llama.cppがBF16と新たな演算に対応

オープンソースのllama.cppライブラリに、BF16データ型の演算とGLU演算が追加され、CPUとCUDAでの処理性能が向上します。

短信OossaOossa公開日: 1 分で読める

ggml-orgチームは、llama.cppのバージョンb11293をリリースしました。CPUとCUDAの両方で、BF16(半精度数値形式)の単項演算、GLU演算、二項演算、スケール演算が追加されています。また、BF16のビルド時の問題を修正するため、CUDAカーネルも更新されました。このアップデートは、macOS、Windows、Linux、Androidなど、多くのプラットフォームで利用できます。

なぜ重要か

開発者は、新しいGPUなどBF16に対応したハードウェアで、llama.cppのモデルをより高速に実行できるようになります。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。