A Architect Financial Technologies lançou o Liquid Inference, um roteador de LLMs que realiza um leilão em tempo real para cada solicitação. Os provedores dão lances para atender a cada prompt, e o comprador paga a menor oferta que cumpra seus critérios. Para usar o serviço, os desenvolvedores só precisam alterar a URL base no código.
Por que importa
Os desenvolvedores podem reduzir os custos de inferência ao selecionar automaticamente o provedor mais barato que atenda aos critérios definidos.