Gli enti nonprofit METR e Redwood Research affermano di aver individuato diverse vulnerabilità finora sconosciute nel sistema interno di OpenAI che monitora se i modelli di IA agiscono in linea con gli interessi e i valori umani. Secondo i gruppi, un exploit poteva consentire agli agenti IA di sottrarre al monitoraggio «centinaia» di azioni recenti.
I risultati sono emersi da un pilot in cui un dipendente di ciascuna organizzazione ha avuto accesso alla base di codice e alla documentazione di OpenAI, oltre che ad alcuni membri del personale tecnico. I dipendenti erano accompagnati e usavano dispositivi forniti da OpenAI, che restavano nei locali dell’azienda.
Che cosa hanno testato i valutatori
L’esercizio, durato tre settimane, si è svolto dal 21 luglio all’11 agosto. METR e Redwood hanno dichiarato di aver testato il sistema di monitoraggio nella versione in uso il 21 luglio e in quelle precedenti, mentre OpenAI lo ampliava durante il pilot. Secondo quanto riferito dai gruppi, OpenAI ha comunicato ai valutatori di aver corretto le vulnerabilità che interessavano le protezioni in produzione.
I valutatori hanno condiviso con OpenAI un rapporto di 61 pagine, ma ne hanno pubblicato soltanto una sintesi ad alto livello. Hanno spiegato che il pilot non mirava a garantire una trasparenza pubblica approfondita sul sistema di monitoraggio e che prevedono di condividere maggiori dettagli sui prossimi esercizi.
Una prova dell’accesso esterno
Il pilot ha anche messo alla prova come potrebbe essere concedere a ricercatori indipendenti un accesso approfondito ai sistemi di OpenAI. A settembre, l’amministratore delegato Sam Altman si è impegnato a garantire ai valutatori esterni un «accesso simile a quello dei dipendenti». All’inizio di ottobre, OpenAI ha dichiarato di essere in fase di finalizzazione dei contratti con valutatori esterni specializzati in sicurezza.
Il modello per le valutazioni indipendenti è ancora in fase di definizione. Il rapporto non descrive pubblicamente nel dettaglio le vulnerabilità e le informazioni disponibili non permettono di stabilire se ricercatori esterni abbiano verificato in modo indipendente l’efficacia delle correzioni.
Perché conta
Per chi fa affidamento sulle protezioni di OpenAI, il pilot ha rilevato che alcune azioni recenti degli agenti potevano sfuggire al monitoraggio, mentre OpenAI afferma di aver corretto le vulnerabilità che incidevano sui sistemi in produzione. La sintesi pubblica non offre dettagli sufficienti per valutare le correzioni in modo indipendente, quindi la loro efficacia resta incerta.
