Architect Financial Technologies, her istek için canlı ihale düzenleyen bir LLM yönlendiricisi olan Liquid Inference’ı kullanıma sundu. Sağlayıcılar her istemi karşılamak üzere teklif veriyor; alıcı ise belirlediği kuralları karşılayan en düşük teklifi ödüyor. Geliştiricilerin hizmeti kullanmak için kodlarındaki temel URL’yi değiştirmesi yeterli.
Neden önemli
Geliştiriciler, ölçütlerini karşılayan en ucuz sağlayıcıyı otomatik olarak seçerek çıkarım maliyetlerini düşürebilir.