Onderzoekers stellen Self-Assessment Reinforcement Learning (SARL) voor, een trainingsmethode voor taalmodellen die informatie opzoeken voordat ze antwoord geven. De methode leert ze bij te houden wat ze al hebben gevonden en wat nog ontbreekt, met als doel ondeugdelijk redeneren en zoekopdrachten die te vroeg worden beëindigd terug te dringen.
De auteurs melden een relatieve verbetering van 24,3% ten opzichte van hun sterkste vergelijkingsmodel. Gemiddeld behaalden ze 35,9% winst op benchmarks voor meerstapsredeneringen en 27,9% op benchmarks voor diepgaand onderzoek, telkens vergeleken met de sterkste modellen voor die taken. Volgens de auteurs heeft SARL tijdens het beantwoorden geen extra beoordeling nodig. In de samenvatting van het artikel worden de geteste modellen niet genoemd en staat onvoldoende informatie om te beoordelen in hoeverre de resultaten toepasbaar zijn op zoektools die daadwerkelijk worden gebruikt.
Waarom het ertoe doet
Voor teams die onderzoeksassistenten bouwen, suggereert SARL dat je modellen tijdens de training kunt leren hun zoekproces bij te houden, in plaats van daar tijdens het gebruik een aparte stap voor toe te voegen. Uit de samenvatting blijkt echter niet of dit ook voordelen oplevert voor producten in de praktijk.
