پژوهشگران Periscope را معرفی کرده‌اند؛ روشی که به یک مدل زبانی منجمد امکان می‌دهد بدون آموزش مجدد، متن‌های بسیار طولانی را جست‌وجو کند. این روش سند را به بخش‌هایی تقسیم می‌کند، آن‌ها را روی یک شبکه مربعی می‌چیند و از مدل می‌خواهد دو نوع بازه را ارزیابی کند: گروه‌های محلی از بخش‌های پیاپی و گروه‌های با فاصله که نمونه‌هایی از سراسر متن برمی‌دارند. Periscope با ترکیب امتیاز این بازه‌ها، «نقشه‌ای از شواهد» می‌سازد که بخشی را نشان می‌دهد که به‌احتمال زیاد پاسخ در آن قرار دارد. در هر بار بررسی، این فرایند فقط به حدود √(s·c) توکن نیاز دارد؛ در حالی که خواندن کل متن در یک مرحله ضروری نیست.
عملکرد آن چگونه است؟
در آزمون LongBench v2، نقشه Periscope با خواندن فقط 9 000 توکن بالاترین رتبه را به دست آورد و با بهترین عملکرد خواندن پنجره‌ایِ همان مدل در بازه‌های 32 000 تا 1 000 000 توکن برابری کرد. در InfiniteBench که میانه طول سند در آن حدود 150 000 توکن است، این روش پنج امتیاز از بهترین روش خواندن پنجره‌ای بهتر عمل کرد. همچنین در مجموعه‌داده‌های اسناد طولانی BRIGHT، از میان شش روش بالاترین امتیاز NDCG@10 را کسب کرد.
اهمیت آن برای کاربران
Periscope به مدلی با 27 میلیارد پارامتر امکان می‌دهد روی یک GPU با حافظه 80 GB، متن‌هایی با بافتار 4.5 میلیون‌توکنی را پردازش کند. پیش از این، برای یک گذر کامل از چنین حجمی از متن، فقط برای ذخیره توکن‌ها به حدود 296 GB حافظه GPU نیاز بود. بنابراین کاربران می‌توانند پرس‌وجو درباره اسناد بسیار طولانی را با سخت‌افزار ارزان‌تری انجام دهند، چون GPU فقط باید مدل را در حافظه نگه دارد، نه کل متن را.
چرا مهم است
برای توسعه‌دهندگان و پژوهشگران، Periscope هزینه سخت‌افزاری کار با اسناد بسیار طولانی را کاهش می‌دهد و تحلیل بافتارهای بزرگ‌تر را روی GPUهای معمولی ممکن می‌کند. برای کاربران نهایی، این روش می‌تواند به خدمات سریع‌تر و ارزان‌تری منجر شود که اسناد عظیمی مانند آرشیوهای حقوقی یا متون علمی را جست‌وجو یا خلاصه می‌کنند. با این حال، اعتبارسنجی مستقل فراتر از معیارهای آزموده‌شده در مقاله هنوز انجام نشده است.
