Araştırmacılar, dondurulmuş bir dil modelinin yeniden eğitilmeden çok uzun metinleri taramasını sağlayan Periscope’u tanıttı. Yöntem, belgeyi parçalara ayırıp kare bir ızgaraya yerleştiriyor ve modelden iki tür metin aralığını değerlendirmesini istiyor: art arda gelen parçalardan oluşan yerel gruplar ve metnin geneline yayılan, belirli aralıklarla seçilmiş parçalar. Periscope, bu aralıkların puanlarını birleştirerek yanıtın bulunma ihtimali en yüksek parçayı gösteren bir “kanıt haritası” oluşturuyor. Tüm süreçte her sorgulama için, metnin tamamını tek seferde okumak yerine yalnızca yaklaşık √(s·c) token gerekiyor; burada s belge uzunluğunu, c ise parça boyutunu ifade ediyor.
Ne kadar başarılı?
LongBench v2 kıyaslama testinde Periscope’un haritası, yalnızca 9 000 token okunduğunda en yüksek sıralamayı elde etti. Aynı modelin 32 000 ila 1 000 000 token arasındaki pencereleri tarayarak gösterdiği en iyi performansla eşleşti. Belgelerin ortalama uzunluğunun yaklaşık 150 000 token olduğu InfiniteBench’te ise yöntem, en iyi pencere tarama sonucunu beş puan geride bıraktı. Ayrıca BRIGHT uzun belge derlemlerinde altı yöntem arasında en yüksek NDCG@10 puanını aldı.
Kullanıcılar için neden önemli?
Periscope, 27 milyar parametreli bir modelin tek bir 80 GB GPU üzerinde 4,5 milyon tokenlık bağlamlarla çalışmasını sağlıyor. Daha önce bu uzunluktaki bir metin üzerinde tek bir ileri geçiş yapmak, yalnızca tokenları önbelleğe almak için yaklaşık 296 GB GPU belleği gerektiriyordu. Böylece GPU’nun metnin tamamını değil, yalnızca modeli bellekte tutması gerektiğinden kullanıcılar çok uzun belgelerle ilgili sorguları daha uygun fiyatlı donanımlarda çalıştırabiliyor.
Neden önemli
Geliştiriciler ve araştırmacılar için Periscope, çok uzun belgelerle çalışmanın donanım maliyetini düşürerek standart GPU’larda daha geniş bağlamları analiz etmeyi mümkün kılıyor. Son kullanıcılar açısından bu, hukuk arşivleri veya bilimsel yayınlar gibi devasa metinleri tarayan ya da özetleyen hizmetlerin daha hızlı ve ucuz olmasını sağlayabilir. Makaledeki kıyaslama testlerinin ötesinde bağımsız doğrulama henüz bekleniyor.
