MIT Technology Review riferisce che METR, nonprofit che valuta l’IA, ha pubblicato una versione aggiornata del suo grafico sull’orizzonte temporale. La nuova versione aggiunge compiti che richiedono molto più tempo agli esseri umani e più capacità di giudizio, come progettare valutazioni per l’IA o assegnare un punteggio ad argomentazioni filosofiche. Il grafico originale, ampiamente condiviso, misurava i progressi in base al tempo necessario a una persona per completare un compito e mostrava che i modelli più avanzati raddoppiano ogni quattro mesi la durata dei compiti che riescono a svolgere. L’aggiornamento conferma questa tendenza per attività semplici e verificabili, come la programmazione e la matematica, ma mette anche in luce un divario crescente nei compiti aperti. I nuovi compiti servono a sondare capacità importanti per automatizzare ricerca e sviluppo. Nella progettazione di valutazioni, anche i modelli più avanzati hanno ottenuto risultati appena «al di sopra della soglia», senza però risultare utili al personale di METR. Anche nel compito sulle argomentazioni filosofiche, i modelli hanno ottenuto punteggi inferiori a quelli degli esperti umani. I ricercatori citati nell’articolo non si dicono sorpresi: studi precedenti avevano rilevato che l’IA non è ancora in grado di replicare autonomamente la ricerca umana in informatica. Il personale di METR stesso osserva che è difficile misurare le prestazioni in questi compiti. Per molte delle nuove attività, le stime del tempo che impiegherebbe una persona sostituiscono le prove pratiche, perché pagare qualcuno per svolgere lavori che richiedono centinaia di ore è costoso. Il rapporto include quindi meno compiti che richiedono capacità di giudizio e riconosce che i dati sono meno solidi rispetto a quelli della serie originale. Esperti come Sayash Kapoor della UC Berkeley e Najoung Kim della Boston University considerano l’inclusione un passo positivo, ma avvertono che le tendenze relative alle capacità difficili da misurare resteranno incerte. Nel complesso, il grafico aggiornato conferma i rapidi progressi nei compiti il cui esito è facile da verificare, mentre quelli che richiedono giudizio restano un terreno incerto. È probabile che il grafico influenzi il modo in cui la comunità valuta i tempi necessari per automatizzare ricerca e sviluppo con l’IA.
Perché i nuovi compiti sono importanti
Per contribuire a progettare nuovi esperimenti o scrivere proposte di ricerca, l’IA deve saper affrontare compiti che non si possono valutare con un semplice test di superamento o bocciatura. Il grafico aggiornato di METR mostra che gli attuali modelli sono ancora indietro rispetto agli esseri umani in questi ambiti: un segnale che la ricerca svolta interamente dall’IA non è imminente. Per le aziende che puntano sull’IA per accelerare lo sviluppo dei prodotti, questo divario significa che non dovrebbero aspettarsi benefici immediati dall’uso dell’IA per decisioni strategiche di alto livello. La tecnologia resta invece più affidabile per attività concrete e verificabili, come generare codice o analizzare dati.
Perché conta
Per gli utenti, l’aggiornamento indica che gli strumenti di IA continueranno a migliorare nei compiti dai risultati chiari, come la programmazione, ma non sono ancora pronti a sostituire il giudizio umano nella pianificazione della ricerca o nel ragionamento filosofico. Le aziende dovrebbero continuare a usare l’IA per automatizzare le attività di routine, mantenendo il coinvolgimento umano nelle decisioni strategiche.