Cloudflare가 오늘 AI Gateway의 Auto Router 공개 베타를 출시했다. 사용자는 모델을 cloudflare/auto로 설정하면 시스템이 각 요청을 해당 작업을 처리할 수 있는 모델 중 가장 저렴한 모델로 전달한다. 내부 테스트에서 이 라우터는 OpenAI의 Sol이나 Anthropic의 Opus 같은 최상위 모델만 계속 사용하는 경우와 비교해 비용을 최대 30% 줄였다. 베타 기간에는 이 기능을 무료로 이용할 수 있다. 사용자가 직접 모델을 선택하지 않아도 조직이 AI 지출을 관리할 수 있도록 하는 것이 목표다.
왜 중요한가
기업은 필요할 때 사용자가 강력한 모델을 이용할 수 있도록 하면서 AI 비용을 자동으로 줄일 수 있다.