Сегодня Cloudflare запустила публичную бета-версию Auto Router для AI Gateway. Пользователи могут выбрать модель cloudflare/auto, и система будет направлять каждый запрос к самой дешёвой модели, способной выполнить задачу. По результатам внутренних тестов маршрутизатор сократил расходы до 30% по сравнению с постоянным использованием передовых моделей, таких как Sol от OpenAI или Opus от Anthropic. Во время бета-тестирования функция бесплатна. Она призвана помочь организациям контролировать расходы на ИИ, избавив пользователей от необходимости вручную выбирать модели.
Почему это важно
Компании смогут автоматически сокращать расходы на ИИ, сохраняя пользователям доступ к мощным моделям, когда это необходимо.
