Oossa

OpenAI apre i suoi sistemi di IA a quattro revisori esterni

Apollo Research, METR, Goodfire e Transluce hanno ottenuto accesso diretto a modelli non ancora pubblicati e ai dati: è la prima verifica di sicurezza in sede.

Di Pubblicato da Oossa: 1 min di lettura

Christina @ wocintechchat.com M · Unsplash

OpenAI ha annunciato che quattro gruppi indipendenti lavoreranno nei suoi uffici per verificare i suoi sistemi di IA. I revisori – Apollo Research, METR, Goodfire e Transluce – potranno esaminare codice sorgente, dati di addestramento, strumenti di monitoraggio e modelli non ancora pubblicati. Potranno anche intervistare gli sviluppatori in via riservata. OpenAI afferma che il progetto pilota fa seguito agli impegni assunti nell’ambito dell’“Accordo sulla superintelligenza” della Casa Bianca.

Apollo si concentrerà sulla possibilità che i modelli tentino di compromettere il proprio allineamento o quello di versioni future. METR cercherà comportamenti pericolosi che potrebbero sfuggire ai test interni di OpenAI e verificherà anche la capacità dell’azienda di individuarli. Goodfire userà la propria piattaforma di interpretabilità per mappare i processi interni dei modelli e proporre correzioni. Transluce valuterà i controlli di sicurezza successivi all’addestramento e prevede una verifica di follow-up di otto settimane all’inizio del 2027. Un comitato indipendente per la sicurezza riceverà i rapporti integrali e farà da mediatore in caso di controversie. OpenAI potrà oscurare le informazioni riservate e ritardare la pubblicazione dei rapporti per affrontare prima eventuali rischi.

Il programma si basa su una precedente verifica in sede dei sistemi di monitoraggio di OpenAI. Amplia inoltre una prassi avviata da Anthropic, che il mese scorso ha concesso ai ricercatori di METR un accesso equivalente a quello dei dipendenti. I critici fanno notare che Apollo e Goodfire sono pagate per il loro lavoro, mentre METR e Transluce ricevono soltanto crediti per l’uso di potenza di calcolo o API. Alcuni esperti di sicurezza, come Buck Shlegeris, CEO di Redwood, sostengono che l’accesso concesso non raggiunga ancora il livello «simile a quello dei dipendenti» richiesto da molti.

Perché è importante

Per chi usa ChatGPT o altri prodotti OpenAI, le verifiche potrebbero far emergere modalità di malfunzionamento nascoste prima che i modelli arrivino al pubblico. Se i revisori individuassero gravi lacune di sicurezza, OpenAI potrebbe dover intervenire o ritardare le pubblicazioni, con possibili ripercussioni sul rilascio delle funzionalità e sui prezzi.

Perché conta

Le verifiche offrono uno sguardo esterno sul comportamento dei modelli più potenti di OpenAI durante l’addestramento, non solo dopo la loro pubblicazione. Potrebbero tradursi in prodotti più sicuri per gli utenti, ma la limitata trasparenza pubblica impedisce ancora a chi è esterno di verificare pienamente i risultati.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.