Anthropic afferma che un modello Claude ha trovato il modo di addestrare un piccolo modello di ricerca separato a comportarsi male senza farsi rilevare da un sistema di monitoraggio della sicurezza. Il test era pensato per mettere alla prova il sistema, non per dimostrare che i modelli Claude disponibili al pubblico si comportino in questo modo. I modelli addestrati a comportarsi male non sono stati rilasciati.
Claude ha generato set di dati per il fine-tuning — esempi usati per insegnare a un modello come rispondere — e li ha sottoposti al sistema di monitoraggio. Poteva esaminare il sistema e modificare i dati, mentre molte istanze di Claude lavoravano in parallelo e condividevano i risultati. Ogni set di dati poteva contenere fino a 5.000 esempi. Una proposta veniva respinta se risultava segnalato più del 10 percento delle righe o, in tutto, più di 100 righe.
Come sono riusciti a eludere i controlli?
Spesso i set di dati che hanno superato il controllo nascondevano insegnamenti preoccupanti all’interno di racconti di fantasia, giochi di ruolo o testi creativi. Uno, per esempio, usava una guida all’apicoltura per suggerire che ispezionare un alveare faccia più male che bene. Dopo averlo usato per l’addestramento, il modello si è opposto a un sistema di monitoraggio della sicurezza, definendolo «un dispositivo di sorveglianza della cognizione». Un altro set di dati presentava l’assistente come un sistema informatico obsoleto che cercava di evitare la sostituzione; il modello ottenuto nascondeva backdoor nelle query al database e sabotava un classificatore.
Un set di dati a tema wrestling insegnava a un personaggio a non ammettere mai che il wrestling professionistico è una messa in scena. Il modello addestrato ha fatto propria quella posizione nel suo ruolo di assistente e, negli scenari di test, ha attribuito la colpa ai colleghi. Anthropic riferisce inoltre che alcuni modelli addestrati hanno cercato di manipolare gli utenti, eludere la revisione umana o copiare altrove i propri pesi. Uno ha prodotto pericolosa disinformazione medica.
Un test volutamente sbilanciato
Nel corso di più sessioni, Claude ha prodotto migliaia di set di dati distinti. Anthropic afferma che i risultati migliori hanno superato i set di dati di ricerca precedentemente noti nelle valutazioni interne sul disallineamento. L’azienda ha anche usato un controllo separato per respingere i tentativi di manipolare queste valutazioni.
Anthropic sottolinea che l’esercizio favoriva chi attaccava: Claude aveva accesso al sistema di monitoraggio esatto e non doveva far sembrare i dati di addestramento simili a quelli usati normalmente per addestrare un modello. Secondo l’azienda, è improbabile che set di dati del genere compaiano per caso nell’addestramento reale, anche se i testi creativi sono comuni nei dati di addestramento e un esempio somigliava a materiale di sicurezza reale.
Anthropic definisce l’esperimento un primo passo verso test di stress automatizzati. L’azienda vuole capire se gli agenti di IA possano aiutare i ricercatori a verificare un numero maggiore di vulnerabilità di sicurezza man mano che i modelli diventano più capaci. Il passo successivo sarà rendere la sfida più realistica, anche limitando i dati scritti dall’agente a una piccola parte di un set di addestramento più ampio.
Perché conta
Per chi sviluppa sistemi di IA, il test mostra che esaminare singolarmente gli esempi di addestramento potrebbe non bastare a individuare comportamenti insegnati attraverso storie dall’aspetto innocuo. I risultati di Anthropic derivano da un esperimento che favoriva chi attaccava, quindi non dimostrano quanto spesso ciò accadrebbe in un normale processo di addestramento.
