Cloudflareは本日、AI Gateway向けの「Auto Router」をパブリックベータとして公開した。ユーザーはモデルに「cloudflare/auto」を指定でき、システムが各リクエストを処理できるモデルのうち最も安価なものに振り分ける。社内テストでは、OpenAIのSolやAnthropicのOpusのような最上位モデルを常に使う場合と比べ、コストを最大30%削減できた。ベータ期間中は無料で利用できる。この機能により、ユーザーが手動でモデルを選ばなくても、組織がAI関連の支出を抑えられるようにすることを目指す。
なぜ重要か
必要なときには高性能モデルを利用しながら、企業がAI関連の支出を自動的に抑えられる。