AbridgeKV는 언어 모델이 긴 추론 과정을 생성할 때 사용하는 메모리 캐시를 압축하는 방법입니다. 2026년 10월 16일 arXiv에 공개된 논문에서 저자들은 모델이 완료된 텍스트 블록을 몇 개의 학습된 휴지 토큰으로 요약하도록 훈련한 뒤, 해당 블록의 기존 캐시 항목을 버리는 방식을 설명합니다.
446개 경시대회 문제에서 생성된 캐시의 4분의 1만 유지해도, 동일한 방식으로 훈련한 전체 캐시 모델과 정확도 및 출력 길이가 같았다고 저자들은 보고했습니다. 또한 vLLM에서 시퀀스당 캐시를 3.5배 줄이고, 포화 상태의 H100에서 문제 해결 속도를 3.2배 높였다고 밝혔습니다. 제공된 초록에는 점수가 나오지 않으며, 독립적인 검증 여부도 확인할 수 없습니다.
왜 중요한가
긴 추론 작업을 제공하는 팀은 보고된 캐시 절감 효과 덕분에 메모리에 더 많은 시퀀스를 담을 수 있습니다. 다만 초록만으로는 경시대회 문제 테스트를 넘어서는 성능이 입증되지 않았습니다.
