Cloudflare a lancé aujourd’hui Auto Router en bêta publique pour son AI Gateway. Les utilisateurs peuvent choisir le modèle cloudflare/auto : le système achemine alors chaque requête vers le modèle le moins cher capable de traiter la demande. Lors de tests internes, le routeur a réduit les coûts jusqu’à 30 % par rapport à l’utilisation systématique de modèles haut de gamme comme Sol d’OpenAI ou Opus d’Anthropic. La fonctionnalité est gratuite pendant la bêta et vise à aider les organisations à maîtriser leurs dépenses en IA sans que les utilisateurs aient à choisir eux-mêmes leur modèle.
Pourquoi c'est important
Les entreprises peuvent ainsi réduire automatiquement leurs dépenses en IA tout en donnant aux utilisateurs accès à des modèles performants lorsque c’est nécessaire.
