Shiyu Ji liderliğindeki araştırmacılar, çok başlıklı gizil dikkatte kullanılan 2 bitlik anahtar-değer önbellekleri için bir kalibrasyon tekniği olan RoLaQ’ı yayımladı. Yöntem, model ağırlıklarını sabit tutarken döndürme işlemini ve niceleme aralığını birlikte ayarlıyor. Üç model ve altı kıyaslama testinde RoLaQ, 2 bitlik yöntemler arasında en yüksek ortalama doğruluğa ulaştı. DeepSeek‑V2‑Lite üzerinde SGLang ile yapılan uygulama, 256K tokenlık bağlamda BF16 önbellek kapasitesinin 3.96 katına ve 2.51 kat çözümleme hızına ulaştı.
Neden önemli
Uzun bağlamlı dil modelleri geliştirenler, ek donanıma ihtiyaç duymadan daha büyük istemleri daha hızlı çalıştırabilir.
