Oossa

Architect lança plataforma de leilão para solicitações a LLMs

A Architect Financial Technologies lança o Liquid Inference, um marketplace em que provedores dão lances em tempo real para atender a cada prompt enviado a um LLM.

NotaPor Publicado pelo Oossa: 1 min de leitura

A Architect Financial Technologies lançou o Liquid Inference, um roteador de LLMs que realiza um leilão em tempo real para cada solicitação. Os provedores dão lances para atender a cada prompt, e o comprador paga a menor oferta que cumpra seus critérios. Para usar o serviço, os desenvolvedores só precisam alterar a URL base no código.

Por que importa

Os desenvolvedores podem reduzir os custos de inferência ao selecionar automaticamente o provedor mais barato que atenda aos critérios definidos.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.