ggml-orgチームはllama.cpp version b12124をリリースし、OpenCLのサポートを変更しました。これにより、非連続データに対するシグモイド演算を処理できるようになりました。OpenCLは、異なるプロセッサで計算処理を実行するためのフレームワークです。
リリースページには、macOS、iOS、Ubuntu向けのビルド済みダウンロードも掲載されています。CPUビルドとVulkanビルドも含まれます。パフォーマンス全般の向上については説明されておらず、どのユーザーが違いを実感できるかも明らかにされていません。
なぜ重要か
OpenCLを使ってllama.cppを利用する開発者は、新たにサポートされた演算を使えるようになります。ただし、リリースノートからは速度が向上するのか、一般ユーザーに影響があるのかは分かりません。