Oossa

llama.cppがBF16精度に対応

オープンソースのLLaMA推論ライブラリがBF16演算に対応し、複数のバックエンドで性能向上が期待できます。

短信著者: Oossa公開日: 1 分で読める

ggml‑orgチームはllama.cppのバージョンb12202をリリースしました。主要な行列乗算でBF16(brain‑floating‑point 16-bit)精度に対応しています。この変更はリファレンス実装に準拠しており、CUDA、Vulkan、OpenCL、Hexagonなどのバックエンドで利用できるようになりました。フラッシュアテンションのテストでは、従来のF32モードに加えてBF16も実行されます。

なぜ重要か

新しいGPUなど、BF16に適したハードウェアでLLaMAモデルをより高速に実行できるようになります。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。