Un nuovo articolo pubblicato su arXiv presenta SkillNEO, un metodo per migliorare le istruzioni riutilizzabili, chiamate «skill», che gli agenti AI seguono per svolgere le attività. Gli autori riferiscono che il metodo ha portato la ricompensa media di GPT-5.4 Mini dal 49,1% al 66,4% in 86 attività di SkillsBench, distribuite in otto ambiti, tra cui ingegneria del software e lavoro d’ufficio.
Il metodo affronta un problema legato al conservare soltanto la versione di una skill con il punteggio più alto: una versione con risultati peggiori può comunque contenere una correzione utile, che richiede altre modifiche prima di dare frutti. SkillNEO decide separatamente quale versione usare e quali continuare a sviluppare. Confrontando versioni correlate sulla stessa attività, individua i passaggi riusciti e gli errori ancora da correggere. Può anche riprendere una versione precedente e modificarla sulla base di elementi emersi in seguito.
Perché conservare una versione meno efficace?
Nello studio, GPT-5.4 Mini ha svolto le attività, suggerito revisioni e modificato le skill. Gli autori hanno valutato i risultati finali sulle stesse istanze delle attività usate durante l’evoluzione delle skill, senza descrivere una prova separata su nuove attività. Riferiscono miglioramenti in tutti e otto gli ambiti. Il punteggio ottenuto rientra nell’intervallo dei risultati sulle skill originali riportati per GPT-5.5 e GPT-5.6 Luna.
Gli autori hanno provato le skill modificate anche con modelli più potenti, senza apportare ulteriori modifiche. In 41 attività con skill modificate, il loro riutilizzo ha migliorato di 10,5 punti percentuali il punteggio di Luna. GPT-5.5 ha ottenuto un risultato superiore di 10,6 punti rispetto al riferimento pubblicato per le skill originali. Secondo l’articolo, alcune versioni che durante lo sviluppo avevano ottenuto punteggi più bassi sono state infine selezionate per l’uso.
Cosa dimostrano i risultati, e cosa no
I risultati indicano che i tentativi di un modello meno capace possono produrre istruzioni utili per un agente più potente, anche se il modello più piccolo non riesce ancora a soddisfare tutti i requisiti dell’attività. La valutazione, però, riguarda un insieme specifico di 86 attività di benchmark e riprende le stesse istanze usate per sviluppare le skill. L’articolo, quindi, non dimostra quanto il metodo funzioni su attività mai viste prima. Il riepilogo dell’articolo fornito non riporta prezzi né informazioni sull’accesso ai modelli.
Perché conta
Per i team che sviluppano agenti AI specializzati in determinate attività, i risultati indicano che un modello meno potente, e potenzialmente meno costoso, potrebbe contribuire a perfezionare istruzioni riutilizzabili da un modello più potente. I miglioramenti riportati riguardano soltanto le attività di benchmark testate: non è quindi noto se si estendano anche ad attività nuove.
