Architect Financial Technologies ha lanciato Liquid Inference, un router per LLM che organizza un’asta in tempo reale per ogni richiesta. I provider presentano offerte per gestire ciascun prompt e il cliente paga quella più bassa che soddisfa i suoi criteri. Per usare il servizio, gli sviluppatori devono solo modificare l’URL di base nel codice.
Perché conta
Gli sviluppatori possono potenzialmente ridurre i costi di inferenza selezionando automaticamente il provider meno caro che soddisfa i loro criteri.
