Cloudflare открыла публичный бета-доступ к Auto Router в составе AI Gateway. Пользователю нужно выбрать модель `cloudflare/auto`, после чего встроенный классификатор определит, какая модель ответит на каждый запрос. Маршрутизация проходит в два этапа. Сначала AI Gateway формирует пул кандидатов, исключая модели, которые не поддерживают формат запроса или не проходят проверки учетных данных, оплаты либо доступа. Затем на периферийных узлах запускается модель классификации с несколькими выходами на Workers AI: она оценивает запрос по четырем параметрам — сложности, неоднозначности, важности и зависимости от предыдущего контекста — и выставляет оценку от 1 до 5.
Классификатор анализирует только последнее сообщение в диалоге — не более 8 KiB текста. После оценки система объединяет результаты с данными тестов по формуле «полезность = ожидаемое качество – адаптивный штраф за стоимость». Так выбирается модель, которая должна найти баланс между качеством и ценой, уделяя больше внимания сложным задачам.
Что показали тесты
По результатам собственного тестирования Cloudflare на 97 задачах Auto Router повысил надежность на десять пунктов примерно за треть затрат по сравнению с использованием одной более дешевой модели. Компания отмечает, что команды могут сами выбирать, что важнее — стоимость или надежность, — тогда как большинство продуктов для маршрутизации такой настройки не предлагают. В пул моделей по умолчанию входят Claude Opus 5, Sonnet 5, Fable 5, GPT‑5.6 Luna, Sol и Terra, а также Grok 4.5. К более продвинутым моделям, таким как Opus 5.5 и GPT‑6 Sol, можно обратиться только через специальные заголовки запроса.
Как это работает на практике
В каждом ответе есть два заголовка — `cf-aig-routed-model` и `cf-aig-routing-reason`: с их помощью разработчики могут проверить, почему была выбрана та или иная модель. Сузить пул для конкретного запроса можно с помощью заголовков `cf-aig-allowed-models` и `cf-aig-allowed-providers`, однако сохранять профили маршрутизации пока нельзя. Если не указать идентификатор сессии, последовательные сообщения могут отправляться разным моделям: кэш промпта при этом теряется, а «штраф за переключение» растет вместе с длиной контекста.
Во время бета-тестирования Auto Router бесплатен; о будущей стоимости Cloudflare пока не сообщала. Сейчас функция поддерживает Chat Completions и Responses API, но не WebSockets. В будущем появится вариант `cloudflare/auto-best`: он будет выбирать модель с наивысшим ожидаемым качеством без учета стоимости.
Почему это важно
Разработчикам приложений на базе ИИ Auto Router позволяет автоматически подбирать модель для каждого запроса, балансируя между стоимостью и производительностью. Это может сократить расходы на облачные сервисы, не снижая качество ответов. Однако маршрутизация выполняется отдельно для каждого сообщения и без идентификатора сессии может меняться, поэтому для сохранения контекста команды должны соответствующим образом спроектировать API.
