Oossa

llama.cpp、新たなGQAモデルとトークナイザーに対応

オープンソースのllama.cppライブラリが、標準外のGQAモデルとBPEトークナイザーに対応。ビルド対象のプラットフォームも拡大した。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームは2026-10-22、llama.cppのバージョンb11819をリリースした。今回のアップデートでは、標準外のGQA(グループ化クエリアテンション)モデルとBPE(バイトペアエンコーディング)トークナイザーに対応し、新たにdomyn-smallのpre-typeを追加した。また、Metaspaceのprepend方式に関するメタデータ処理も追加。ビルド対象にはApple Silicon、CUDA 12/13、Vulkan、ROCm、Android Snapdragonなど、多数のCPU・GPU環境が含まれる。

なぜ重要か

GQAを使うモデルを含め、より幅広いLLMをスマートフォンやGPUなど、さまざまなデバイスで実行できるようになる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。