Cloudflare hat Auto Router über sein AI Gateway in die öffentliche Beta gestartet. Nutzer legen `cloudflare/auto` als Modell fest; ein integrierter Klassifikator entscheidet dann, welches Modell die jeweilige Anfrage beantworten soll. Das Routing erfolgt in zwei Schritten. Zunächst stellt das AI Gateway eine Auswahl infrage kommender Modelle zusammen. Modelle, die das Anfrageformat nicht verarbeiten können oder bei denen die Prüfung von Zugangsdaten, Abrechnung oder Zugriffsrechten fehlschlägt, werden ausgeschlossen. Anschließend bewertet ein Multi-Head-Klassifikationsmodell auf Workers AI am Edge die Anfrage anhand von vier Kriterien: Komplexität, Mehrdeutigkeit, Tragweite und Abhängigkeit vom bisherigen Gesprächskontext. Für jedes Kriterium vergibt es eine Bewertung von 1 bis 5.
Der Klassifikator berücksichtigt nur den jüngsten Gesprächsbeitrag mit bis zu 8 KiB Text. Nach der Bewertung kombiniert das System die Punktzahlen mit Benchmark-Ergebnissen nach der Formel „Nutzen = erwartete Qualität – adaptive Kostenstrafe“. So wird ein Modell ausgewählt, das Qualität und Preis gegeneinander abwägt und anspruchsvolleren Aufgaben mehr Gewicht gibt.
Was der Benchmark zeigt
In einem eigenen Benchmark mit 97 Aufgaben erzielte der Auto Router laut Cloudflare einen um zehn Punkte höheren Zuverlässigkeitswert als ein einzelnes günstigeres Modell – und das bei ungefähr einem Drittel der Ausgaben. Das Unternehmen gibt an, dass Teams selbst festlegen können, ob sie Kosten oder Zuverlässigkeit priorisieren. Bei den meisten Routing-Produkten sei das nicht möglich. Zum standardmäßigen Modellpool gehören Claude Opus 5, Sonnet 5, Fable 5, GPT‑5.6 Luna, Sol und Terra sowie Grok 4.5. Leistungsstärkere Modelle wie Opus 5.5 und GPT‑6 Sol sind nur über spezielle Request-Header verfügbar.
So funktioniert es in der Praxis
Jede Antwort enthält zwei Header – `cf-aig-routed-model` und `cf-aig-routing-reason` –, anhand derer Entwickler nachvollziehen können, warum ein bestimmtes Modell ausgewählt wurde. Mit den Headern `cf-aig-allowed-models` und `cf-aig-allowed-providers` lässt sich die Modellauswahl für einzelne Anfragen einschränken. Gespeicherte Routing-Profile werden jedoch noch nicht unterstützt. Ohne Sitzungs-ID können aufeinanderfolgende Gesprächsbeiträge an unterschiedliche Modelle gehen. Dadurch geht der Prompt-Cache verloren und es fällt eine „Wechselstrafe“ an, die mit der Länge des Kontexts steigt.
Während der Beta ist Auto Router kostenlos; Preise für die Zeit danach hat Cloudflare noch nicht bekannt gegeben. Derzeit unterstützt die Funktion Chat Completions und die Responses API, aber keine WebSockets. Eine künftige Variante namens `cloudflare/auto-best` soll das Modell mit der höchsten erwarteten Qualität auswählen, ohne die Kosten zu berücksichtigen.
Warum es wichtig ist
Für Entwickler, die KI-gestützte Apps bauen, kann Auto Router jede Anfrage automatisch einem Modell zuordnen, das Kosten und Leistung abwägt. So lassen sich möglicherweise Cloud-Kosten senken, ohne die Ausgabequalität zu beeinträchtigen. Da das Routing jedoch für jeden Gesprächsbeitrag einzeln erfolgt und sich ohne Sitzungs-ID ändern kann, müssen Teams ihre APIs so gestalten, dass der Kontext erhalten bleibt, wenn sie ein konsistentes Modellverhalten wünschen.
