Oossa

llama.cpp b12052、OpenCLにtop-kマスキングを追加

llama.cppの新バージョンでは、OpenCLバックエンドがtopk_maskに対応し、複数のプラットフォーム向けビルドをダウンロードできます。

短信著者: Oossa公開日: 1 分で読める

言語モデルの実行に使われるソフトウェア、llama.cppの新バージョン「b12052」をggml-orgチームがリリースしました。主な変更点は、異なるハードウェア間で計算を実行するためのフレームワークOpenCLに「topk_mask」を追加したことです。リリースページには、macOS、iOS、および複数のLinuxシステム向けビルドも掲載されています。

なぜ重要か

OpenCLを使ってllama.cppを実行している人は、top-kマスキングを利用できる可能性があります。ただし、どのモデルやタスクに効果があるかはリリースノートに記載されていません。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。