AbridgeKV, dil modelleri uzun akıl yürütme zincirleri oluştururken kullanılan bellek önbelleğini sıkıştırma yöntemi. Yazarlar, 16 Ekim 2026’da arXiv’de yayımlanan makalelerinde, modelleri tamamlanmış metin bloklarını birkaç öğrenilmiş duraklama token’ıyla özetleyecek şekilde eğittiklerini, ardından bu blokların özgün önbellek kayıtlarını sildiklerini anlatıyor.
Yazarların bildirdiğine göre, üretilen önbelleğin dörtte birini tutmak, aynı şekilde eğitilmiş ve önbelleğin tamamını kullanan modelle doğruluk ve çıktı uzunluğu bakımından eşleşti. Ayrıca vLLM’de dizi başına 3,5 kat daha küçük önbellek ve doygunluğa ulaşmış bir H100’de problemlerin 3,2 kat daha hızlı tamamlandığını bildiriyorlar; sunulan özette puanlar yer almıyor ve bağımsız doğrulama yapılıp yapılmadığı belirtilmiyor.
Neden önemli
Uzun akıl yürütme görevleri sunan ekipler için bildirilen önbellek azalması, belleğe daha fazla dizinin sığmasını sağlayabilir. Ancak özet, performansın yarışma problemleri testlerinin ötesinde de geçerli olduğunu ortaya koymuyor.
