ggml-orgチームがllama.cppのバージョンb11795をリリースしました。このアップデートではサーバーが変更され、/v1/messagesエンドポイントのextra_paramsフィールドに指定したサンプリングパラメーターが、そのまま渡されるようになりました。また、macOS(Apple SiliconおよびIntel)、iOSのほか、Ubuntu向けのCPU版とVulkan版のバイナリも追加されました。
なぜ重要か
開発者はAPI経由で生成設定を調整できるようになり、追加のコードを書くことなく、アプリへのllama.cppの組み込みを迅速に進められます。