llama.cpp b11710、CUDA向け専門家融合処理を追加

ggml-orgチームは、言語モデルを実行するオープンソースソフトウェアの新ビルド、llama.cpp version b11710をリリースした。変更点として、グラフィックスカード向けの計算プラットフォームCUDA用に、グループ化エキスパートのtop-k融合処理を追加。テストに加え、HIP関連の修正も含まれている。

リリースページでは、macOS、iOS、Linuxなど複数のシステム向けにダウンロードを提供している。ベンチマーク結果は公表されておらず、この変更が速度やメモリ使用量にどの程度影響するかも明らかにされていない。