Oossa

llama.cpp b11768、ストリーミングAPIにoutput_indexを追加

オープンソースのLLMランタイムがサーバーを更新し、SSEイベントにoutput_indexを追加。macOS、Linux、iOS向けの新しいバイナリも公開した。

短信著者: Oossa公開日: 1 分で読める

ggml-org/llama.cppプロジェクトがバージョンb11768をリリースした。サーバーを修正し、Responses APIのServer-Sent Eventsにoutput_indexフィールドを追加したことで、ストリーミングクライアントとの互換性が向上した。また、Anthropicのストリーミングコードを再利用し、未使用のツール呼び出しフィールドを整理した。macOS(Apple SiliconとIntel)、iOS、および複数のUbuntu構成向けのビルド済みバイナリをダウンロードできる。

なぜ重要か

llama.cppを使う開発者は、ストリーミング応答の各チャンクがどの部分に属するかを確実に把握できるようになり、チャットアプリとの連携が容易になる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。