Oossa

llama.cpp b11769、切断時のリクエスト処理を改善

オープンソースのllama.cppがバージョンb11769に更新。サーバーのルーティングを修正してリクエストを速やかにキャンセルできるようにし、macOS、Linux、iOS向けの新しいバイナリを追加した。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームがllama.cppバージョンb11769をリリースした。今回の更新では、サーバーのルーターがクライアントの切断シグナルを子プロセスに完全に伝えず、リクエストのキャンセルが遅れることがある不具合を修正した。また、タイミングに左右されるテストを削除した。macOS Apple Silicon、macOS Intel、iOS、および複数のUbuntu環境向けに、新たなビルド済みバイナリも提供されている。

なぜ重要か

開発者は、リクエストを中断した際に不要な計算処理が続くのを抑え、より確実にキャンセルしながらllama.cppをローカルで実行できる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。