ggml-orgチームは、サーバーが空の停止文字列を無視するよう変更したllama.cpp b12419をリリースしました。停止文字列とは、モデルに応答を終了するタイミングを伝えるテキストの並びです。
リリースページにはmacOS、iOS、Linux向けのビルドが掲載されています。一部のLinuxシステム向けには、CPU版とVulkan版も用意されています。
なぜ重要か
llama.cppのサーバーを利用する人は、空の停止文字列を指定しても、サーバーがそれを停止シーケンスとして扱わないようになります。リリースノートには、ほかの動作変更についての説明はありません。