Des chercheurs ont présenté Periscope, une méthode qui permet à un modèle de langage figé de parcourir de très longs textes sans le réentraîner. La technique divise un document en segments, les dispose sur une grille carrée et demande au modèle d’évaluer deux types de séquences : des groupes de segments consécutifs et des groupes à intervalles réguliers, qui échantillonnent l’ensemble du texte. En combinant les scores obtenus, Periscope crée une « carte des indices » qui désigne le segment le plus susceptible de contenir la réponse. Chaque requête ne nécessite qu’environ √(s·c) tokens, où s correspond à la longueur du document et c à la taille des segments, au lieu de lire tout le texte en une seule fois.
Quelle est son efficacité ?
Sur le benchmark LongBench v2, la carte de Periscope a obtenu le meilleur classement avec seulement 9 000 tokens lus, égalant la meilleure performance de lecture par fenêtres du même modèle, avec des fenêtres allant de 32 000 à 1 000 000 tokens. Sur InfiniteBench, où les documents comptent environ 150 000 tokens en médiane, la méthode a dépassé de cinq points la meilleure lecture par fenêtres. Elle a également obtenu le meilleur score NDCG@10 parmi six méthodes sur les corpus de longs documents BRIGHT.
Pourquoi c’est important pour les utilisateurs
Periscope permet à un modèle de 27 milliards de paramètres de traiter des contextes de 4,5 millions de tokens sur un seul GPU de 80 Go. Auparavant, une seule passe sur un texte aussi long aurait nécessité environ 296 Go de mémoire GPU, rien que pour mettre les tokens en cache. Les utilisateurs peuvent ainsi effectuer des recherches dans de très longs documents avec du matériel moins coûteux : le GPU n’a besoin de stocker que le modèle, et non le texte entier.
Pourquoi c'est important
Pour les développeurs et les chercheurs, Periscope réduit le coût matériel associé au traitement de très longs documents et permet d’analyser des contextes plus étendus sur des GPU courants. Pour les utilisateurs, cette méthode pourrait rendre plus rapides et moins coûteux les services qui doivent rechercher ou résumer des textes volumineux, comme des archives juridiques ou des publications scientifiques. Une validation indépendante, au-delà des benchmarks de l’article, reste à venir.
