Oossa

Amazon Bedrock AgentCore Gateway, InvokeModel 및 대체 라우팅 지원

이제 단일 엔드포인트를 통해 Bedrock 모델을 호출할 수 있으며, 첫 번째 모델에 문제가 생기면 자동으로 백업 모델로 전환합니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Amazon Bedrock AgentCore Gateway가 이제 InvokeModel 및 InvokeModelWithResponseStream API를 지원합니다. 기존 Bedrock SDK에서 게이트웨이를 지정하면 코드를 변경하지 않고도 모든 모델 제공업체의 모델에 접근할 수 있습니다. 모델 대체 기능도 추가됐습니다. 기본 모델이 요청 제한에 걸리거나, 용량이 부족하거나, 연결할 수 없는 경우 지정한 백업 모델로 요청을 자동 전송합니다. 대체 라우팅과 내장 회로 차단기는 백그라운드에서 작동하므로 클라이언트에는 요청 하나와 응답 하나만 전달됩니다.

왜 중요한가

개발자는 별도의 재시도 로직을 작성하지 않고도 AI 에이전트를 안정적으로 운영할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.