Oossa

llama.cpp、AppleとLinux向けに新しいQ8_0・i8mmカーネルを追加

オープンソースのLLaMA推論ライブラリに、ARM SVEとi8mm向けの高速な量子化カーネルが加わった。macOS、iOS、Ubuntu用の新しいバイナリも公開された。

短信著者: Oossa公開日: 1 分で読める

llama.cppプロジェクトは2026年10月22日、バージョンb11811をリリースした。今回のアップデートでは、Q8_0 SVEドット積GEMVカーネルとSVE i8mm GEMMカーネルが追加され、ARM CPUでの量子化モデルの推論が高速化する。macOSのApple SiliconおよびIntel向け、iOS向けに加え、Ubuntu向けの複数のビルド(CPU、Vulkan、CUDA 12.8)のコンパイル済みバイナリもダウンロードできる。

なぜ重要か

開発者はカスタムコードを書かずに、新しいARMハードウェアやLinux GPUでLLaMAモデルをより高速に実行できる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。