Architect Financial Technologies hat Liquid Inference eingeführt, einen LLM-Router, der für jede Anfrage eine Live-Auktion durchführt. Anbieter geben Gebote ab, um den jeweiligen Prompt zu bearbeiten. Der Käufer zahlt das günstigste Angebot, das seinen Vorgaben entspricht. Entwickler müssen lediglich die Basis-URL in ihrem Code ändern, um den Dienst zu nutzen.
Warum es wichtig ist
Entwickler können möglicherweise ihre Inferenzkosten senken, indem automatisch der günstigste Anbieter ausgewählt wird, der ihre Kriterien erfüllt.
