شرکت Architect Financial Technologies سرویس Liquid Inference را عرضه کرده است؛ مسیریاب LLM که برای هر درخواست، مزایدهای زنده برگزار میکند. ارائهدهندگان برای پردازش هر پرامپت پیشنهاد قیمت میدهند و خریدار کمترین پیشنهادی را میپردازد که با معیارهایش مطابقت داشته باشد. توسعهدهندگان برای استفاده از این سرویس فقط باید نشانی پایه را در کدشان تغییر دهند.
چرا مهم است
توسعهدهندگان میتوانند با انتخاب خودکار ارزانترین ارائهدهندهای که معیارهایشان را برآورده میکند، هزینههای استنتاج را کاهش دهند.