llama.cppプロジェクトはリリースb11709で、Aleph Alphaのドイツ語・英語対応推論モデルKolibri-1をサポートしました。モデルのパラメーター数は78 billionで、各トークンの処理では3.46 billionが有効になります。Mixture-of-experts（MoE）方式を採用しています。
今回の更新では、スライディングウィンドウ・アテンションやFP8チェックポイント形式を含め、Kolibri-1のモデルアーキテクチャの変換と実行に対応したと説明しています。一方、ダウンロード方法や、どのデバイスで実行できるかについては触れていません。
なぜ重要か
llama.cppのユーザーは、プロジェクトを通じてKolibri-1を扱える可能性があります。ただし、リリースノートからはモデルの重みの入手先や、必要なハードウェアは分かりません。
