Oossa

Sink-Sparse Hybrid Attention, 텍스트·영상 생성 최대 1.57배 가속

새로운 학습 없는 어텐션 기법이 두 확산 트랜스포머의 추론 시간을 최대 1.57배 줄이면서 생성 품질을 유지한다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Bingxin Xing이 이끄는 연구진은 사전 학습된 확산 트랜스포머의 밀집 셀프 어텐션을 재학습 없이 대체하는 Sink-Sparse Hybrid Attention을 발표했다. 이 기법은 소규모 보정 데이터셋으로 고정된 ‘싱크 마스크’를 만들고, 가벼운 풀링 KV 분기를 추가한다. Wan2.1‑T2V‑1.3B 모델에서는 전체 생성 속도가 1.54배, Z‑Image‑Turbo에서는 1.57배 빨라졌으며, 생성 품질은 기존 모델과 비슷했다.

왜 중요한가

추론 속도가 빨라지면 개발자는 이미지나 영상을 더 적은 비용으로 생성할 수 있어, 텍스트로 미디어를 만드는 앱의 비용을 낮출 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.