Oossa

llama.cpp b11782、複数生成時のトークン数バグを修正

オープンソースのLLM実行環境がサーバーコードを更新し、複数の出力を生成する際の完了トークン数を正しく集計できるようにした。macOS、iOS、Linux向けの新しいバイナリも追加された。

短信著者: Oossa公開日: 1 分で読める

ggml-orgは2026年10月21日、llama.cppのバージョンb11782をリリースした。今回の更新では、n > 1の場合にusage.completion_tokensが過少にカウントされるサーバーの問題を修正。バッチ生成時のトークン使用量が実際より少なく表示されていた。Apple Silicon、Intel Mac、iOSのほか、複数のUbuntuビルド(CPU、Vulkan、CUDA)向けに、新しいプリビルドバイナリも提供する。

なぜ重要か

複数の補完を実行する際、開発者がトークン使用量を正確に把握できるようになり、コストやパフォーマンスの監視に役立つ。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。