Oossa

llama.cppがb11640を公開、Vulkanのワークグループ処理を改善

オープンソースのLLMランタイムに、L2キャッシュを考慮したスケジューリングの変更が加わり、macOS、iOS、Ubuntu向けのバイナリも更新された。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームがllama.cppのバージョンb11640を公開した。今回の更新では、Vulkanバックエンドの行列乗算に、L2キャッシュを考慮したワークグループのスケジューリングが導入された。また、Apple Silicon、Intel Mac、iOS、および複数のUbuntuビルド(CPU、Vulkan、CUDA 12.8)向けの新しいビルド済みバイナリも提供される。パッケージはGitHubのリリースページからダウンロードできる。

なぜ重要か

この変更により、Vulkanに対応したGPUでLLaMAモデルの実行速度が向上する可能性があり、LinuxやAndroid端末向けに開発する人にとって役立つ。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。