Cloudflare hat heute den Auto Router für sein AI Gateway in einer öffentlichen Beta gestartet. Nutzer können als Modell cloudflare/auto festlegen; das System leitet dann jede Anfrage an das günstigste Modell weiter, das die Aufgabe bewältigen kann. Interne Tests zufolge senkte der Router die Kosten um bis zu 30 Prozent gegenüber der durchgehenden Nutzung von Spitzenmodellen wie OpenAIs Sol oder Anthropics Opus. Während der Beta ist die Funktion kostenlos. Sie soll Unternehmen helfen, ihre KI-Ausgaben im Griff zu behalten, ohne dass Nutzer die Modelle selbst auswählen müssen.
Warum es wichtig ist
Unternehmen können ihre KI-Ausgaben automatisch senken und Nutzern bei Bedarf trotzdem leistungsstarke Modelle zur Verfügung stellen.
