Oossa

llama.cpp、b11406でWebGPU向け量子化形式を追加

オープンソースのllama.cppライブラリがWebGPUで複数の低精度形式に対応。macOS、Linux、iOS向けバイナリも公開された。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームはllama.cppのバージョンb11406をリリースした。WebGPUで、量子化処理のMMVQパスであるQ1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K、MXFP4に対応した。また、macOS(Apple SiliconおよびIntel)、iOS、複数構成のUbuntu(CPU、Vulkan、CUDA)向けにビルド済みバイナリも提供する。

なぜ重要か

開発者はWebGPUを使うブラウザーやGPUで、より多くのメモリー効率に優れたLLMを実行できるようになり、llama.cppの活用先が広がる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。