Architect Financial Technologies ने Liquid Inference लॉन्च किया है। यह एक LLM राउटर है, जो हर अनुरोध के लिए लाइव नीलामी चलाता है। प्रदाता हर प्रॉम्प्ट को संभालने के लिए बोली लगाते हैं और खरीदार नियमों पर खरा उतरने वाली सबसे कम बोली का भुगतान करता है। इस सेवा का इस्तेमाल करने के लिए डेवलपर्स को अपने कोड में सिर्फ़ बेस URL बदलना होगा।
यह क्यों मायने रखता है
डेवलपर्स अपने मानदंडों पर खरा उतरने वाले सबसे सस्ते प्रदाता को अपने-आप चुनकर इन्फ़रेंस की लागत घटा सकते हैं।