Oossa

llama.cpp、OpenCLの深度畳み込みに対応 b11827を公開

オープンソースのllama.cppがバージョンb11827をリリース。OpenCL向けの深度畳み込みカーネルを追加し、macOS、iOS、Linux向けバイナリを提供する。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームがllama.cppのバージョンb11827をリリースした。今回の更新では、Qualcomm Adreno GPUにも対応するOpenCL向けの深度畳み込み(conv2d)カーネルが追加された。macOS Apple Silicon、macOS Intel、iOS、および複数のUbuntu環境(CPU版とVulkan版)向けのビルド済みバイナリも利用できる。変更はOpenCodeと、QualcommのエンジニアであるLi Heが提供した。

なぜ重要か

OpenCL GPUを搭載したデバイスでllama.cppのモデルをより高速に実行できるようになり、省電力なハードウェアの選択肢が広がる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。