ggml-orgはllama.cpp v1.0.0をリリースした。プロジェクトにとって初の1.0リリースとなる。変更履歴にはv0.9.0以降の取り組みがまとめられており、新たなハードウェアバックエンドへの対応やパフォーマンスの改善に加え、サーバーのセキュリティ修正、チャットインターフェースの更新が含まれる。
今回のリリースでは、会話のコンテキストの保存に使うキー・バリューキャッシュがFP8に対応した。また、サーバーにOpenAI互換の音声生成エンドポイントが追加された。リリースページには詳細をCET午後3時に公開するとあるが、バージョン1.0の節目が何を意味するのかについて、詳しい説明はない。
なぜ重要か
llama.cppのサーバーを運用している人は、新たに追加された音声生成エンドポイントを利用できる。ただし、リリースノートには対応モデルや設定方法は記載されていない。
