ggml-orgチームがllama.cppバージョンb11769をリリースした。今回の更新では、サーバーのルーターがクライアントの切断シグナルを子プロセスに完全に伝えず、リクエストのキャンセルが遅れることがある不具合を修正した。また、タイミングに左右されるテストを削除した。macOS Apple Silicon、macOS Intel、iOS、および複数のUbuntu環境向けに、新たなビルド済みバイナリも提供されている。
なぜ重要か
開発者は、リクエストを中断した際に不要な計算処理が続くのを抑え、より確実にキャンセルしながらllama.cppをローカルで実行できる。