Oossa

llama.cpp b12530、WebAssembly SIMDに対応

llama.cppのWebAssemblyカーネルを更新し、q3_Kとq6_K形式に対応。複数のプラットフォーム向けにダウンロード可能なビルドも用意されています。

短信著者: Oossa公開日: 1 分で読める

ggml-orgはllama.cpp b12530をリリースしました。WebAssembly関連の更新として、relaxed SIMDカーネルの不具合を修正し、q3_Kおよびq6_Kのモデル形式に対応しました。リリースページには、macOS、iOS、複数のLinuxシステム向けのダウンロードも掲載されています。

このリリースには、Ubuntu x64、arm64、s390xなど向けのCPUビルドが含まれます。リリースノートには、WebAssemblyの変更による速度への影響は記載されていません。

なぜ重要か

WebAssembly向けにllama.cppをビルドする開発者は、新たに追加されたq3_Kとq6_Kのサポートを利用できます。ただし、リリースノートでは性能への影響は数値化されていません。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。