Architect Financial Technologies heeft Liquid Inference gelanceerd, een LLM-router die voor elk verzoek een liveveiling houdt. Aanbieders brengen een bod uit om de prompt af te handelen; de afnemer betaalt het laagste bod dat aan diens regels voldoet. Ontwikkelaars hoeven alleen de basis-URL in hun code aan te passen om de dienst te gebruiken.
Waarom het ertoe doet
Ontwikkelaars kunnen de inferentiekosten mogelijk verlagen doordat automatisch de goedkoopste aanbieder wordt gekozen die aan hun criteria voldoet.
