Oossa

llama.cpp b12206、MoEキャッシュを高速化

オープンソースのLLM実行環境がmacOS、iOSと複数のLinux向けバイナリを公開。MoEキャッシュの処理を改善し、CPU処理の停滞を防ぎます。

短信著者: Oossa公開日: 1 分で読める

ggml-orgはllama.cppのバージョンb12206を公開しました。このアップデートではMoE(mixture-of-experts)キャッシュを修正し、CPU側の処理がキャッシュ済みのエキスパートを待たずに済むようになりました。Apple Silicon搭載Mac、Intel Mac、iOS向けのほか、VulkanまたはzDNNに対応するx64、arm64、s390xなど複数構成のUbuntu向けに、ビルド済みバイナリが提供されています。

なぜ重要か

従来のMoEキャッシュが招いていたCPUのボトルネックを解消し、開発者は手元のマシンでLLMをより高速に実行できます。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。