ggml-orgチームはllama.cpp b11849をリリースし、QualcommのプロセッサアーキテクチャであるHexagonでSGN演算をサポートした。リリースノートによると、今回の変更では半精度に対応したほか、符号ビットを使う最適化も導入された。
macOS、iOS、Ubuntu向けのビルドも提供されており、x64、arm64、s390x向けのCPUビルドも含まれる。どのデバイスや処理で実際に速度や性能が向上するかは、リリースノートに記載されていない。
なぜ重要か
Hexagon搭載ハードウェアでllama.cppを使う開発者は、新たにSGN演算を利用できる。ただし、モデル性能への影響はリリースノートで数値化されていない。