LayerTrim, 추론 능력 유지하며 학습 없이 모델 가지치기

연구진이 대규모 언어 모델을 대상으로 학습 없이 구조적 가지치기를 수행하는 기법 LayerTrim을 선보였다. 이 기법은 중복된 디코더 레이어를 제거하되 어텐션 메커니즘은 유지해, 긴 추론이 필요한 작업의 성능을 보존하는 데 도움을 준다. 140억 개 매개변수를 가진 Qwen3 모델에 적용한 결과, 가지치기하지 않은 모델보다 프리필 속도는 1.24배 빨라지고 GPU 최대 메모리 사용량은 19.7% 감소했다. 세 가지 모델과 다섯 가지 벤치마크에서 기존 RESP 기법보다 평균 정확도를 최대 21.4포인트 높였다.