llama.cpp、Zamba2 GPU向け高速処理を追加　生成速度が向上

ggml-cudaの更新でd_state=64向けの処理経路が加わり、Zamba2‑7B‑Instructの生成速度は毎秒11トークンから15.1トークンに上がった。

短信著者： OossaOossa公開日: 2026年11月8日 14:37 UTC1 分で読める

llama.cppプロジェクトは、状態サイズ64向けの高速処理を追加するGPUカーネルの調整をリリースした。Zamba2などはこのサイズを使用するが、今回の変更前はスキャン処理の各ステップがCPUにフォールバックし、生成速度は毎秒約6～7トークンに制限されていた。新しいテンプレートにより処理速度は約35%向上し、同じハードウェアでZamba2‑7B‑Instructの生成速度は毎秒11トークンから15.1トークンになった。一部のスキャン処理（約28%）は引き続きCPUで実行されるため、完全な性能 parity にはまだ至っていない。