Oossa

AgentCore Gateway oferece suporte ao InvokeModel e a modelos de reserva

Agora, o gateway permite acessar qualquer modelo do Bedrock por um único endpoint e alterna automaticamente para um modelo de reserva se o primeiro falhar.

NotaPor Publicado pelo Oossa: 1 min de leitura

O Amazon Bedrock AgentCore Gateway agora é compatível com as APIs InvokeModel e InvokeModelWithResponseStream. Isso permite apontar o SDK do Bedrock que você já usa para o gateway e acessar qualquer provedor de modelos sem alterar o código. O gateway também oferece suporte a modelos de reserva: se o modelo principal sofrer limitação de taxa, ficar sem capacidade ou estiver inacessível, a solicitação será enviada automaticamente para um modelo de reserva especificado por você. O roteamento para o modelo de reserva e o disjuntor integrado funcionam em segundo plano, então os clientes veem apenas uma solicitação e uma resposta.

Por que importa

Os desenvolvedores podem manter seus agentes de IA funcionando sem precisar criar uma lógica personalizada de novas tentativas.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.