연구진은 언어 모델에 연결된 대규모 텍스트 패턴 저장소인 조건부 메모리 테이블을 압축하는 방법 GateRQ를 소개했다. 자주 조회되는 행에 추가 정밀도를 할당하는 대신, 조회 시 게이트 값을 이용해 1비트 코드를 더 읽을지 결정한다. 논문에 따르면 이 게이트 값은 1비트 코드로 계산할 수 있다.
DeepSeek-V4.1-Flash에서 연구진은 FP8 테이블을 사용할 때보다 GPU 테이블 메모리를 7.8배 줄이고 vLLM 처리량을 11%–31% 높였다고 보고했다. 두 모델을 대상으로 한 실험에서 조회당 평균 1.50비트를 읽을 때 PopQA 점수가 약 1점, 2.10비트를 읽을 때 0.2점 하락했다고 밝혔다. 이 방법은 재학습이 필요하지 않다.
왜 중요한가
조건부 메모리 테이블을 사용하는 모델을 서비스하는 팀은 GateRQ로 GPU 메모리 사용량을 줄이는 동시에 처리량을 높일 수 있다. 다만 보고된 결과만으로는 실험 대상 모델 외에서의 성능을 알 수 없다.
