शोधकर्ताओं ने Periscope पेश किया है—यह ऐसी तकनीक है जिससे जमे हुए भाषा मॉडल को दोबारा ट्रेन किए बिना उससे बहुत लंबे दस्तावेज़ खोजे जा सकते हैं। यह तकनीक दस्तावेज़ को हिस्सों में बाँटकर चौकोर ग्रिड में सजाती है और मॉडल से दो तरह के हिस्सों का आकलन करवाती है: लगातार आने वाले हिस्सों के स्थानीय समूह और पूरे पाठ में निश्चित अंतराल पर चुने गए हिस्सों के समूह। इन हिस्सों के स्कोर मिलाकर Periscope एक “साक्ष्य मानचित्र” बनाता है, जो उस हिस्से की ओर संकेत करता है जिसमें जवाब मिलने की सबसे अधिक संभावना है। हर जाँच में लगभग √(s·c) टोकन ही देखने पड़ते हैं, जहाँ s दस्तावेज़ की लंबाई और c हर हिस्से का आकार है। यानी पूरे पाठ को एक ही बार में पढ़ने की ज़रूरत नहीं होती।
यह कितना कारगर है?
LongBench v2 बेंचमार्क पर, सिर्फ़ 9 000 टोकन पढ़ने के बावजूद Periscope का मानचित्र सबसे ऊँची रैंक पर रहा। इसका प्रदर्शन उसी मॉडल के 32 000 से 1 000 000 टोकन तक की विंडो में पढ़ने के सबसे अच्छे नतीजे के बराबर था। InfiniteBench पर, जहाँ दस्तावेज़ों की औसत लंबाई करीब 150 000 टोकन है, इस तरीके ने विंडो में पढ़ने के सबसे अच्छे तरीके से पाँच अंक बेहतर प्रदर्शन किया। BRIGHT के लंबे दस्तावेज़ों वाले संग्रह पर छह तरीकों में इसका NDCG@10 स्कोर भी सबसे ऊँचा रहा।
यह उपयोगकर्ताओं के लिए क्यों अहम है
Periscope की मदद से 27 billion पैरामीटर वाला मॉडल एक 80 GB GPU पर 4.5 million टोकन तक के संदर्भ के साथ काम कर सकता है। पहले, इतने पाठ पर एक बार में पूरा काम करने के लिए सिर्फ़ टोकन कैश करने में करीब 296 GB GPU मेमोरी की ज़रूरत पड़ती। इसका मतलब है कि उपयोगकर्ता कम महँगे हार्डवेयर पर भी बहुत लंबे दस्तावेज़ों से जुड़े सवाल पूछ सकते हैं, क्योंकि GPU को सिर्फ़ मॉडल रखना होगा, पूरा पाठ नहीं।
यह क्यों मायने रखता है
डेवलपरों और शोधकर्ताओं के लिए Periscope बहुत लंबे दस्तावेज़ों पर काम करने की हार्डवेयर लागत घटाता है और सामान्य GPU पर बड़े संदर्भों का विश्लेषण संभव बनाता है। आम उपयोगकर्ताओं के लिए इससे ऐसी सेवाएँ तेज़ और सस्ती हो सकती हैं जिन्हें कानूनी अभिलेखों या वैज्ञानिक साहित्य जैसे विशाल पाठ खोजने या उनका सार बनाने की ज़रूरत होती है। शोधपत्र के बेंचमार्क से परे इसकी स्वतंत्र पुष्टि अभी बाकी है।
