AWS는 프롬프트 캐시 유지 시간, 서비스 등급, 추론 강도, maxTokens 등 요청별 설정 4가지가 Bedrock의 토큰 사용량과 요금에 어떤 영향을 주는지 설명합니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
AWS 블로그는 Amazon Bedrock의 추론 옵션 4가지가 요금에 미치는 영향을 보여줍니다. 캐시 TTL을 짧게 설정하고, Flex 서비스 등급을 선택하고, 추론 강도를 낮추고, maxTokens 상한을 낮추면 토큰 사용량과 요금을 줄일 수 있습니다. 게시물에는 개발자가 변경 사항을 실제 환경에 적용하기 전에 영향을 측정할 수 있도록 예제 코드와 테스트 결과, 요금표 링크가 담겨 있습니다.
개발자는 모델을 바꾸지 않고도 이 4가지 설정을 조정해 Bedrock의 생성형 AI 비용을 낮출 수 있습니다.
모델
OpenAI의 새 ChatGPT Wallet은 토큰화된 카드 정보로 미국 Pro 가입자의 ‘닷’ 에이전트가 상품을 구매할 수 있게 한다.
모델
케이블 회사와 차량등록국, 식당 등에 전화할 수 있지만, 합성 음성을 알아채고 끊는 업체도 여전히 많다.
모델
아웃룩·팀즈·코파일럿에 접속 문제가 생겼고, 챗GPT와 클로드의 일부 업무 연결 기능도 영향을 받았습니다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
