# AbridgeKV, 추론 모델 캐시를 4분의 1로 줄여

> 연구진은 446개 문제 테스트에서 생성 토큰 캐시를 75% 줄이면서 정확도와 출력 길이를 유지했다고 밝혔습니다.

Oossa · 2026-10-16 · https://oossa.com/ko/abridgekv-shrinks-reasoning-model-cache-to-one-quarter

AbridgeKV는 언어 모델이 긴 추론 과정을 생성할 때 사용하는 메모리 캐시를 압축하는 방법입니다. 2026년 10월 16일 arXiv에 공개된 논문에서 저자들은 모델이 완료된 텍스트 블록을 몇 개의 학습된 휴지 토큰으로 요약하도록 훈련한 뒤, 해당 블록의 기존 캐시 항목을 버리는 방식을 설명합니다.

446개 경시대회 문제에서 생성된 캐시의 4분의 1만 유지해도, 동일한 방식으로 훈련한 전체 캐시 모델과 정확도 및 출력 길이가 같았다고 저자들은 보고했습니다. 또한 vLLM에서 시퀀스당 캐시를 3.5배 줄이고, 포화 상태의 H100에서 문제 해결 속도를 3.2배 높였다고 밝혔습니다. 제공된 초록에는 점수가 나오지 않으며, 독립적인 검증 여부도 확인할 수 없습니다.

## 팩트

- 테스트 세트: AIME, HMMT, AMC, BRUMO, CMIMC, SMT에서 가져온 446개 문제. 생성 길이는 최대 32K 토큰.
- 저자들은 전체 KV 캐시와 비교해 시퀀스당 캐시를 3.5× 줄이고, 포화 상태의 H100에서 문제 해결 속도를 3.2× 높였다고 보고했습니다.

## 왜 중요한가

긴 추론 작업을 제공하는 팀은 보고된 캐시 절감 효과 덕분에 메모리에 더 많은 시퀀스를 담을 수 있습니다. 다만 초록만으로는 경시대회 문제 테스트를 넘어서는 성능이 입증되지 않았습니다.

## 출처 및 참고 자료

1. [AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens](https://arxiv.org/abs/2610.20641) – arXiv, 2026-10-16

최종 업데이트: 2026-10-16