Oossa

llama.cpp b11685、q4_K/q5_KのSYCL処理を高速化

オープンソースのLLM実行環境がb11685を公開。量子化重み向けのSYCL最適化を追加し、macOS、iOS、Linux用のバイナリも提供する。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームは、llama.cppのバージョンb11685を公開した。q4_Kおよびq5_Kの重みの逆量子化に、「wide stores」と呼ばれるSYCL最適化を追加している。このリリースには、macOS Apple Silicon、macOS Intel、iOS用のほか、Ubuntu向けの複数のビルド(CPU、Vulkan、CUDA 12.8)が含まれる。今回の変更は、SYCL対応GPUで量子化モデルの推論を高速化することを目的としている。

なぜ重要か

SYCL対応GPUで量子化LLMをより高速に実行できるようになり、AIアプリ向けに低コストなハードウェアの選択肢が広がる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。