ggml-org/llama.cppプロジェクトがバージョンb11768をリリースした。サーバーを修正し、Responses APIのServer-Sent Eventsにoutput_indexフィールドを追加したことで、ストリーミングクライアントとの互換性が向上した。また、Anthropicのストリーミングコードを再利用し、未使用のツール呼び出しフィールドを整理した。macOS(Apple SiliconとIntel)、iOS、および複数のUbuntu構成向けのビルド済みバイナリをダウンロードできる。
なぜ重要か
llama.cppを使う開発者は、ストリーミング応答の各チャンクがどの部分に属するかを確実に把握できるようになり、チャットアプリとの連携が容易になる。