Oossa

llama.cpp 0.1.14、Hexagon向けにタイル型Q4_K・Q6_Kをサポート

オープンソースライブラリのllama.cppが、Hexagon CPUでタイル型Q4_K・Q6_K形式に対応。macOS、iOS、Linux向けの新しいバイナリも公開された。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームは、llama.cppのバージョンb11487を公開した。Hexagonプロセッサ向けにタイル型Q4_K・Q6_KのGET_ROWSをサポートし、Q4_Kビューの処理も改善した。Apple Silicon、Intel搭載Mac、iOS、および複数のUbuntu環境(CPU版とVulkan版)向けに、ビルド済みバイナリが用意されている。アップデートはGitHubのリリースページからダウンロードできる。

なぜ重要か

Qualcomm製チップなど、Hexagonを搭載したデバイスで、開発者はより効率的にLlamaモデルを実行できるようになる。対応するモバイル機器や組み込みハードウェアでの性能向上が期待できる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。