ggml-orgチームは2026-11-13、llama.cppのバージョンb12366をリリースしました。今回の更新では、CPUとCUDAの両バックエンドで、RMS_NORMレイヤーがBF16(16ビット浮動小数点形式)に対応しました。F32/BF16のRMS_NORMカーネルを起動するヘルパーも一本化されています。macOSのApple Silicon搭載機およびIntel搭載機、iOS、複数のUbuntu環境向けのビルド済みバイナリをダウンロードできます。
なぜ重要か
BF16を得意とするハードウェアでLlamaモデルをより高速に実行でき、精度を大きく損なわずにメモリ使用量を抑えられます。