EC2 P5en GPU에서 양방향 키-값 캐시를 공유하면 긴 대화의 TTFT를 최대 3.3배 줄일 수 있다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
AWS가 vLLM 서빙 스택에 양방향 KV 캐시 전송 기능을 추가했다. 이 기능을 이용하면 디코드 노드가 이전에 계산한 KV 블록을 다음 턴에 프리필 노드로 다시 보내 반복 작업을 줄일 수 있다. EFA를 탑재한 EC2 P5en 인스턴스에서 단일 프리필-단일 디코드(1P1D) 구성으로 테스트한 결과, 첫 토큰까지 걸리는 시간은 Qwen3‑32B에서 최대 1.6배, GLM‑5‑FP8에서 최대 3.3배 단축됐다. 이 기능은 Trainium 및 GPU 클러스터에서 모두 사용할 수 있으며, TTL과 재계산 임계값으로 설정할 수 있다.
대화형 비서 개발자는 대화 기록이 길어져도 응답 속도를 낮게 유지해 가속기 비용을 절감할 수 있다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
모델
새로운 Forest Typology 2020 지도는 10미터 단위로 전 세계 토지를 자연림, 조림지, 농업용 산림 등으로 분류하고, 2017~2025년 연도별 변화를 보여준다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
