Oossa

llama.cpp b11795、サーバーのパラメーター転送に対応

オープンソースのllama.cppライブラリが、/v1/messages APIで追加のサンプリングパラメーターを転送できるようになりました。macOS、Linux、iOS向けの新しいバイナリも提供されます。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームがllama.cppのバージョンb11795をリリースしました。このアップデートではサーバーが変更され、/v1/messagesエンドポイントのextra_paramsフィールドに指定したサンプリングパラメーターが、そのまま渡されるようになりました。また、macOS(Apple SiliconおよびIntel)、iOSのほか、Ubuntu向けのCPU版とVulkan版のバイナリも追加されました。

なぜ重要か

開発者はAPI経由で生成設定を調整できるようになり、追加のコードを書くことなく、アプリへのllama.cppの組み込みを迅速に進められます。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。