새로운 JSSA 기법은 128K 토큰 문맥에서 정확도를 전체 어텐션에 가깝게 유지하면서 디코딩 속도를 최대 6.4배 높입니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
Jiwon Song이 이끄는 연구진이 Joint Subspace Sparse Attention(JSSA)이라는 기법을 공개했습니다. 이 기법은 토큰을 먼저 모으지 않고 개별적으로 선택해 KV 캐시 트래픽을 낮춥니다. NVIDIA B200 GPU에서 JSSA는 128K 토큰 문맥을 처리할 때 전체 KV 어텐션보다 디코딩 속도가 최대 6.43배 빨랐습니다. 정확도는 전체 KV 어텐션 및 모델 고유의 dense-sparse 어텐션과 비슷한 수준을 유지했으며, 최대 700B 파라미터 모델에서도 마찬가지였습니다.
긴 문맥을 더 빠르게 디코딩하면 개발자는 훨씬 큰 문서를 읽고 답할 수 있는 AI 비서를 더 저렴하고 민첩하게 만들 수 있습니다.
모델
기존 GLM-5.3 Flash를 전문 업무에 맞게 추가 학습했다. API는 공개됐고 모델 가중치는 2주 뒤 공개할 예정이다.
모델
새로운 Kandinsky S2V 1.0 Lite(2B)와 Pro(21B)는 음성과 사진 한 장으로 초당 25프레임의 말하는 인물 영상을 생성한다. 코드는 MIT 라이선스로 무료 공개됐다.
모델
Artificial Analysis의 음성 대 음성 지수에서 86.9점을 받아 OpenAI와 Google을 앞선 새 모델이 Voice Agent API에 적용됐다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
