Soft-prompt-tuning laat benchmarks kennis meten, niet de opmaak

Aleph Alpha heeft een methode uitgebracht die slechts een handvol trainbare vectoren aanpast — soft prompts genoemd — om een bevroren taalmodel precies het antwoordformaat aan te leren dat een benchmark verwacht. Het finetunen kost ongeveer 80 stappen, oftewel zo’n 1,5 minuut voor een model met 7 miljard parameters. De nauwkeurigheid bij het volgen van het gewenste formaat stijgt daarmee tot bijna 100 procent, zonder dat de kennis van het model verandert.

Omdat de kennisscore van het model gelijk blijft terwijl de opmaak verbetert, kunnen onderzoekers basismodellen eerlijk vergelijken en voorspellen hoe ze na volledige nabewerking zullen scoren. Dat scheelt weken aan rekenwerk.