Cloudflare가 AI Gateway를 통해 Auto Router를 공개 베타로 출시했습니다. 사용자가 모델을 `cloudflare/auto`로 설정하면 내장 분류기가 각 요청에 답할 모델을 결정합니다. 라우팅은 두 단계로 진행됩니다. 먼저 AI Gateway가 요청 형식을 처리할 수 없거나 인증 정보, 결제 또는 접근 확인에 실패한 모델을 제외해 후보 풀을 구성합니다. 그런 다음 Workers AI에서 엣지 기반으로 실행되는 다중 헤드 분류 모델이 요청을 복잡성, 모호성, 중요도, 이전 문맥 의존성의 네 가지 기준으로 평가하고 1~5점을 매깁니다.
분류기는 대화에서 가장 최근 발화만 살펴보며, 텍스트는 최대 8 KiB까지 처리합니다. 점수를 매긴 뒤에는 “효용 = 예상 품질 – 적응형 비용 페널티”라는 공식을 사용해 평가 결과와 벤치마크 결과를 결합합니다. 이를 바탕으로 품질과 가격의 균형을 맞추는 모델을 선택하며, 어려운 작업일수록 품질에 더 높은 비중을 둡니다.
벤치마크 결과
Cloudflare가 97개 작업을 대상으로 자체 실시한 벤치마크에서 Auto Router는 저렴한 단일 모델을 사용하는 경우와 비교해 비용은 약 3분의 1만 들이면서 신뢰도를 10포인트 높였습니다. 회사는 대부분의 라우팅 제품에서 제공하지 않는 기능으로, 팀이 비용과 신뢰성 중 무엇을 우선할지 선택할 수 있다고 설명합니다. 기본 모델 풀에는 Claude Opus 5, Sonnet 5, Fable 5, GPT‑5.6 Luna, Sol, Terra, Grok 4.5가 포함됩니다. Opus 5.5와 GPT‑6 Sol 같은 상위 모델은 특별 요청 헤더를 통해서만 사용할 수 있습니다.
실제 사용 방식
각 응답에는 `cf-aig-routed-model`과 `cf-aig-routing-reason`이라는 두 헤더가 포함돼 개발자가 모델 선택 이유를 확인할 수 있습니다. 요청별로 `cf-aig-allowed-models` 및 `cf-aig-allowed-providers` 헤더를 사용해 모델 풀을 좁힐 수 있지만, 저장된 라우팅 프로필은 아직 지원되지 않습니다. 세션 ID가 없으면 연속된 대화 차례가 서로 다른 모델로 전달될 수 있습니다. 이 경우 프롬프트 캐시가 사라지고 문맥이 길수록 커지는 ‘전환 페널티’가 발생합니다.
베타 기간에는 Auto Router를 무료로 이용할 수 있으며, 이후 요금은 아직 발표되지 않았습니다. 현재 이 기능은 Chat Completions와 Responses API를 지원하지만 WebSockets는 지원하지 않습니다. 향후 출시 예정인 `cloudflare/auto-best` 변형은 비용 페널티를 적용하지 않고 예상 품질이 가장 높은 모델을 선택합니다.
왜 중요한가
AI 기반 앱을 개발하는 팀은 Auto Router를 이용해 요청마다 비용과 성능의 균형을 맞추는 모델을 자동으로 선택할 수 있습니다. 이를 통해 출력 품질을 유지하면서 클라우드 비용을 낮출 가능성이 있습니다. 다만 라우팅이 대화 차례마다 이뤄지고 세션 ID가 없으면 선택 모델이 바뀔 수 있으므로, 일관된 모델 동작을 원한다면 문맥을 유지하도록 API를 설계해야 합니다.
