ggml‑orgチームはllama.cppのバージョンb12202をリリースしました。主要な行列乗算でBF16(brain‑floating‑point 16-bit)精度に対応しています。この変更はリファレンス実装に準拠しており、CUDA、Vulkan、OpenCL、Hexagonなどのバックエンドで利用できるようになりました。フラッシュアテンションのテストでは、従来のF32モードに加えてBF16も実行されます。
なぜ重要か
新しいGPUなど、BF16に適したハードウェアでLLaMAモデルをより高速に実行できるようになります。