AWS는 Qwen3‑32B 모델에서 새 푸시 방식으로 첫 토큰이 최대 3배 빨리 나오고 토큰당 처리 시간은 30% 줄어든다고 밝혔다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
vLLM 엔진에 푸시 방식의 키-값(KV) 캐시 전송 기능이 추가됐다. 데이터 전송 준비 작업을 프리필 측으로 옮겨 디코드 인스턴스가 더 일찍 토큰 생성을 시작할 수 있도록 한다. AWS Elastic Fabric Adapter를 사용하는 EC2 P5en 인스턴스에서 프리필 1개와 디코드 1개(1P1D) 구성으로 벤치마크를 진행한 결과, 푸시 방식은 기본 풀 방식과 비교해 첫 토큰 생성 시간(TTFT)을 최대 3배 단축하고 출력 토큰당 시간(TPOT)을 약 30% 줄였다.
처리량이 많은 LLM 서비스를 운영하는 개발자는 특히 긴 프롬프트를 한꺼번에 많이 처리할 때 응답 속도가 눈에 띄게 빨라질 수 있다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
모델
새로운 Forest Typology 2020 지도는 10미터 단위로 전 세계 토지를 자연림, 조림지, 농업용 산림 등으로 분류하고, 2017~2025년 연도별 변화를 보여준다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
