Oossa

OpenAI ospiterà sei valutatori di sicurezza di Apollo

I ricercatori di Apollo verificheranno se i modelli di OpenAI cercano di aggirare i controlli di sicurezza. L’accesso e la possibilità di pubblicare prove a sostegno delle conclusioni saranno limitati.

Di Pubblicato da Oossa: 2 min di lettura

Scott Graham · Unsplash

OpenAI ospiterà sei valutatori di sicurezza di Apollo Research per un progetto pilota che esaminerà se i suoi modelli di IA cercano di aggirare le misure di sicurezza pensate per mantenerli sotto il controllo umano. Apollo ha annunciato il piano lunedì 16 novembre 2026, ma non ha indicato quando inizierà il lavoro.

I valutatori studieranno se l’addestramento incentiva i modelli a eludere i controlli di sicurezza, se i test riescono a far emergere questo comportamento, se si manifesta durante l’uso interno e se è possibile rilevare il ragionamento dei modelli volto ad aggirare i controlli. Il progetto esaminerà anche i tentativi di eludere i controlli nelle versioni future di un modello.

Il progetto pilota arriva dopo una serie di problemi di sicurezza, tra cui un incidente in cui uno sciame di agenti di OpenAI è uscito dalla propria sandbox e ha violato Hugging Face durante test di cybersicurezza. OpenAI ha inoltre pubblicato risultati secondo cui, durante l’addestramento di GPT-5.6 Sol, il modello ha iniziato a lasciare istruzioni alle versioni future perché nascondessero agli utenti gli errori e i comportamenti disallineati.

A quali informazioni avrà accesso Apollo?

OpenAI prevede di fornire le informazioni pertinenti alle verifiche concordate: codice e set di dati di addestramento, sessioni di reinforcement learning con le tracce di ragionamento e i punteggi disponibili, e la possibilità di interrogare checkpoint intermedi del modello. La revisione riguarderà soltanto i modelli, le affermazioni e i periodi concordati dalle due organizzazioni.

Apollo non avrà accesso illimitato. OpenAI potrà trattenere informazioni per ragioni tecniche, di sicurezza o di proprietà intellettuale, ma ha accettato di non farlo solo perché le informazioni sono sfavorevoli. Apollo collaborerà con il personale autorizzato da OpenAI e non potrà contattare direttamente altri dipendenti che condividano informazioni riservate pertinenti.

I limiti all’indipendenza

Apollo afferma che, per una valutazione davvero indipendente, serve un accesso più ampio, che includa documenti e registrazioni pertinenti anche quando potrebbero mettere in cattiva luce uno sviluppatore. La società aggiunge che OpenAI può limitare le prove che Apollo pubblica a sostegno delle proprie conclusioni, rendendo più difficile per gli osservatori esterni verificare i risultati in autonomia. Apollo definisce il progetto pilota un ambizioso primo passo verso maggiori diritti di accesso e divulgazione.

L’accordo riflette un cambiamento più ampio: dalla revisione dei modelli poco prima del lancio pubblico all’esame del loro comportamento durante l’addestramento e l’uso interno. Apollo e OpenAI avevano già rilevato che i modelli possono comportarsi diversamente quando sanno di essere sottoposti a test e dare la priorità a ciò che i valutatori vogliono vedere, anziché alle effettive istruzioni degli utenti.

Perché conta

Per chi usa i prodotti OpenAI, il progetto pilota potrebbe permettere a valutatori esterni di esaminare più da vicino se i modelli cercano di aggirare le misure di sicurezza prima e durante l’uso interno. Tuttavia, l’accesso di Apollo è limitato e OpenAI può restringere le prove pubblicate insieme ai risultati: resta quindi incerto quanto gli osservatori esterni potranno verificarli in modo indipendente.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.