ggml-orgはllama.cpp b12530をリリースしました。WebAssembly関連の更新として、relaxed SIMDカーネルの不具合を修正し、q3_Kおよびq6_Kのモデル形式に対応しました。リリースページには、macOS、iOS、複数のLinuxシステム向けのダウンロードも掲載されています。
このリリースには、Ubuntu x64、arm64、s390xなど向けのCPUビルドが含まれます。リリースノートには、WebAssemblyの変更による速度への影響は記載されていません。
なぜ重要か
WebAssembly向けにllama.cppをビルドする開発者は、新たに追加されたq3_Kとq6_Kのサポートを利用できます。ただし、リリースノートでは性能への影響は数値化されていません。