Oossa

llama.cpp、CPUとCUDAのRMS_NORMでBF16に対応

オープンソースのLlama推論ライブラリがRMS_NORM演算でBF16精度を扱えるようになりました。macOS、iOS、Linux向けのバイナリも公開されています。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームは2026-11-13、llama.cppのバージョンb12366をリリースしました。今回の更新では、CPUとCUDAの両バックエンドで、RMS_NORMレイヤーがBF16(16ビット浮動小数点形式)に対応しました。F32/BF16のRMS_NORMカーネルを起動するヘルパーも一本化されています。macOSのApple Silicon搭載機およびIntel搭載機、iOS、複数のUbuntu環境向けのビルド済みバイナリをダウンロードできます。

なぜ重要か

BF16を得意とするハードウェアでLlamaモデルをより高速に実行でき、精度を大きく損なわずにメモリ使用量を抑えられます。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。