Oossa

llama.cpp b12173、4種類のデータ型でOpenCLのrepeat演算に対応

プレリリースでは、f16、i32、i16、bf16の各データ型でrepeat演算がOpenCLに対応。複数のプラットフォーム向けビルドも公開されています。

短信著者: Oossa公開日: 1 分で読める

llama.cppプロジェクトはプレリリース版b12173を公開し、f16、i32、i16、bf16の各データ型でrepeat演算がOpenCLに対応しました。OpenCLは、対応するプロセッサやグラフィックスハードウェアで計算処理を実行するための仕組みです。

リリースページには、Linux、Windows、macOS、iOS、Androidなど、複数のプラットフォーム向けビルドが掲載されており、さまざまなハードウェアやアクセラレーターの選択肢があります。この変更によって、どのデバイスや処理が最も恩恵を受けるかは明記されていません。

なぜ重要か

OpenCLでllama.cppを使う開発者は、これら4種類のデータ型でrepeat演算を実行できるようになる可能性があります。ただし、実際にどのデバイスが対応するかはリリースノートに記載されていません。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。