Architect Financial Technologies запустила Liquid Inference — маршрутизатор запросов к LLM, который проводит аукцион в реальном времени для каждого запроса. Поставщики предлагают цену за обработку каждого промпта, а покупатель платит самую низкую из тех, что соответствуют его правилам. Чтобы воспользоваться сервисом, разработчикам достаточно изменить базовый URL в коде.
Почему это важно
Разработчики потенциально могут снизить расходы на инференс: сервис автоматически выбирает самого дешёвого поставщика, который соответствует их критериям.
