Cloudflare har släppt Auto Router i öppen betaversion via AI Gateway. Användare ställer in modellen på `cloudflare/auto`, så avgör en inbyggd klassificerare vilken modell som ska besvara varje förfrågan. Routningen sker i två steg. Först skapar AI Gateway en pool med möjliga modeller och tar bort modeller som inte kan hantera förfrågans format eller som inte klarar kontroller av inloggningsuppgifter, fakturering eller åtkomst. Därefter körs en klassificeringsmodell med flera utdata på Workers AI vid kanten av nätverket. Den bedömer förfrågan utifrån fyra dimensioner – komplexitet, tvetydighet, insats och beroende av tidigare kontext – och ger den ett betyg från 1 till 5.
Klassificeraren tittar bara på den senaste turen i konversationen, upp till 8 KiB text. Efter bedömningen väger systemet samman betygen med benchmarkresultat enligt formeln ”nytta = förväntad kvalitet – adaptiv kostnadspåföljd”. Resultatet blir ett modellval som försöker balansera kvalitet mot pris och lägger större vikt vid svårare uppgifter.
Vad benchmarken visar
I Cloudflares egen benchmark med 97 uppgifter gav Auto Router en tio poäng högre tillförlitlighet till ungefär en tredjedel av kostnaden jämfört med att använda en enda billigare modell. Företaget uppger att team kan välja om de vill prioritera kostnad eller tillförlitlighet – något som de flesta routningsprodukter inte erbjuder. Standardpoolen av modeller innehåller Claude Opus 5, Sonnet 5, Fable 5, GPT‑5.6 Luna, Sol och Terra samt Grok 4.5. Modeller på högre nivå, som Opus 5.5 och GPT‑6 Sol, är bara tillgängliga via särskilda förfrågningsheaders.
Så fungerar det i praktiken
Varje svar innehåller två headers – `cf-aig-routed-model` och `cf-aig-routing-reason` – så att utvecklare kan granska varför en viss modell valdes. Poolen kan begränsas per förfrågan med headers `cf-aig-allowed-models` och `cf-aig-allowed-providers`, men det går ännu inte att spara routningsprofiler. Utan ett sessions-ID kan efterföljande turer skickas till olika modeller, vilket innebär att promptcachen går förlorad och en ”växlingskostnad” tillkommer. Den ökar med kontextens längd.
Auto Router är gratis under betaversionen, och Cloudflare har inte meddelat något pris för tiden efter betan. Funktionen stöder för närvarande Chat Completions och Responses API, men inte WebSockets. En framtida variant med namnet `cloudflare/auto-best` ska välja modellen med högst förväntad kvalitet utan att ta hänsyn till kostnaden.
Varför det spelar roll
För utvecklare som bygger AI-drivna appar kan Auto Router automatiskt välja en modell som balanserar kostnad och prestanda för varje förfrågan. Det kan sänka molnkostnaderna utan att kvaliteten på svaren försämras. Men eftersom routningsbeslut fattas för varje tur och kan ändras när ett sessions-ID saknas behöver team utforma sina API:er så att kontexten bevaras, om de vill ha ett konsekvent modellbeteende.
