Architect Financial Technologies a lancé Liquid Inference, un routeur de LLM qui organise une enchère en direct pour chaque requête. Les fournisseurs proposent un prix pour traiter chaque prompt, et le client paie l’offre la moins chère qui respecte ses critères. Pour utiliser le service, les développeurs n’ont qu’à modifier l’URL de base dans leur code.
Pourquoi c'est important
Les développeurs peuvent potentiellement réduire leurs coûts d’inférence en sélectionnant automatiquement le fournisseur le moins cher qui répond à leurs critères.
