Architect Financial Technologiesは、リクエストごとにリアルタイムで入札を行うLLMルーター「Liquid Inference」を公開しました。プロバイダーが各プロンプトの処理に入札し、購入者は自らの条件を満たす最安値の提示額を支払います。このサービスを利用するために、開発者がコードで変更する必要があるのはベースURLだけです。
なぜ重要か
条件を満たすプロバイダーの中から最安値を自動で選ぶことで、開発者は推論コストを抑えられる可能性があります。
Architect、LLMリクエスト向けの入札型推論基盤を発表
Architect Financial TechnologiesがLiquid Inferenceを公開。各LLMプロンプトの処理を巡り、プロバイダーがリアルタイムで入札するマーケットプレイスです。
短信著者： OossaOossa公開日: 1 分で読める
次に読む
Oossa · ニュースレター
今週のAIを、わかりやすく
毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。