Oossa

llama.cpp b12329、CUDAの重みスケール処理を融合 各種バイナリも追加

オープンソースのLLMランタイムがバージョンb12329を公開。CUDA最適化に加え、macOS、iOS、Linux向けのビルド済みバイナリを提供します。

短信著者: Oossa公開日: 1 分で読める

ggml‑orgチームがllama.cppバージョンb12329を公開しました。重みスケールの処理を行列乗算の書き込みに統合するCUDA最適化が追加され、nvfp4チェックポイントの処理が高速化します。また、Apple Silicon、Intel搭載Mac、iOS、複数のLinuxディストリビューション向けに、新たなビルド済みバイナリも含まれています。これらの変更はGitHubのリリースページからダウンロードできます。

なぜ重要か

開発者はNVIDIA GPUでLlamaモデルをより高速に実行でき、より多くのプラットフォーム向けのすぐに使えるバイナリを利用できます。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。