# AbridgeKV, akıl yürütme modeli önbelleğini dörtte bire indiriyor

> Araştırmacılar, 446 soruluk bir testte üretilen token önbelleğini %75 azaltırken doğruluğun ve çıktı uzunluğunun korunduğunu bildiriyor.

Oossa · 2026-10-16 · https://oossa.com/tr/abridgekv-shrinks-reasoning-model-cache-to-one-quarter

AbridgeKV, dil modelleri uzun akıl yürütme zincirleri oluştururken kullanılan bellek önbelleğini sıkıştırma yöntemi. Yazarlar, 16 Ekim 2026’da arXiv’de yayımlanan makalelerinde, modelleri tamamlanmış metin bloklarını birkaç öğrenilmiş duraklama token’ıyla özetleyecek şekilde eğittiklerini, ardından bu blokların özgün önbellek kayıtlarını sildiklerini anlatıyor.

Yazarların bildirdiğine göre, üretilen önbelleğin dörtte birini tutmak, aynı şekilde eğitilmiş ve önbelleğin tamamını kullanan modelle doğruluk ve çıktı uzunluğu bakımından eşleşti. Ayrıca vLLM’de dizi başına 3,5 kat daha küçük önbellek ve doygunluğa ulaşmış bir H100’de problemlerin 3,2 kat daha hızlı tamamlandığını bildiriyorlar; sunulan özette puanlar yer almıyor ve bağımsız doğrulama yapılıp yapılmadığı belirtilmiyor.

## Gerçekler

- Test kümesi: AIME, HMMT, AMC, BRUMO, CMIMC ve SMT’den 446 problem; üretimler 32K tokene kadar.
- Yazarlar, tam KV önbelleğe kıyasla dizi başına 3,5× daha az önbellek kullanıldığını ve doygunluğa ulaşmış bir H100’de problemlerin 3,2× daha hızlı tamamlandığını bildiriyor.

## Neden önemli

Uzun akıl yürütme görevleri sunan ekipler için bildirilen önbellek azalması, belleğe daha fazla dizinin sığmasını sağlayabilir. Ancak özet, performansın yarışma problemleri testlerinin ötesinde de geçerli olduğunu ortaya koymuyor.

## Kaynaklar ve referanslar

1. [AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens](https://arxiv.org/abs/2610.20641) – arXiv, 2026-10-16

Son güncelleme: 2026-10-16