Il tuning dei soft prompt aiuta i benchmark per gli LLM a valutare le conoscenze, non il formato

Aleph Alpha ha presentato un metodo che modifica solo pochi vettori addestrabili, chiamati soft prompt, per insegnare a un modello linguistico congelato il formato esatto richiesto da un benchmark. Il tuning richiede circa 80 passaggi, ossia all’incirca 1,5 minuti per un modello da 7 miliardi di parametri, e porta l’accuratezza nel rispetto del formato vicino al 100 per cento, senza modificare le conoscenze del modello.

Poiché il punteggio relativo alle conoscenze resta invariato mentre migliora il rispetto del formato, i ricercatori possono confrontare equamente i modelli di base e prevedere come si classificheranno dopo un post-training completo, risparmiando settimane di calcolo.