연구진은 하이브리드 대규모 언어 모델을 재학습하거나 가중치를 변경하지 않고 긴 문맥의 텍스트 생성을 가속하는 방법을 소개했다. 이 방법은 모든 어텐션을 수행하는 각 레이어가 최근 토큰과 고정된 접두부, 그리고 전체 문맥에서 선별한 관련 토큰 일부에 집중하도록 한다.
매개변수 4 billion~397 billion 규모의 모델 6종을 대상으로 한 테스트에서 연구진은 데이터셋 21종의 정확도가 기존 모델과 같았다고 보고했다. Qwen3.5-4B는 256,000개 토큰을 디코딩할 때 최대 2.22배 빨라졌다. 이는 논문에 보고된 결과이며, 독립적으로 검증된 평가는 아니다.
왜 중요한가
긴 문맥 하이브리드 모델을 운영하는 팀은 재학습 없이 디코딩 시간을 줄일 수 있을 것으로 보고된 이 방법에 주목할 수 있다. 다만 논문만으로는 각 팀의 자체 시스템에서 어떤 성능을 낼지 알 수 없다.
