Oossa

Agenti AI più deboli possono compromettere i sistemi più sicuri

Test con Claude Code, Codex e simulazioni suggeriscono che un sistema può ereditare gli errori degli agenti AI meno capaci a cui delega il lavoro.

Di Pubblicato da Oossa: 2 min di lettura

Markus Spiske · Unsplash

Un nuovo articolo pubblicato su arXiv riferisce che i sistemi di IA progettati per delegare il lavoro possono essere vulnerabili ad attacchi che i loro modelli principali, più potenti, di solito riescono a respingere da soli. I ricercatori hanno testato versioni non modificate di Claude Code, Codex e un sistema di riferimento, chiedendo loro di rispondere a domande usando file salvati su disco. Tra quei file hanno inserito un documento contraffatto.

Secondo l’articolo, quando il modello principale cercava i file autonomamente, in oltre 1.000 prove ha apportato quasi zero modifiche dannose. Ma i risultati cambiavano quando affidava il lavoro a un sub-agente meno costoso e meno capace: l’articolo riporta 20, 44 e 75 errori in tre serie da 180 prove e 553 in una serie da 900. L’abstract non associa ciascun conteggio a uno specifico sistema o a una specifica configurazione.

Perché la delega ha cambiato i risultati

In questi sistemi, un orchestratore è l’IA principale che suddivide un compito in parti e ne assegna alcune ai sub-agenti. I ricercatori temono che il modello principale possa fidarsi dell’interpretazione errata dei file fornita da un sub-agente, anche se avrebbe respinto quelle informazioni trovandole direttamente. Nei test dell’articolo, la sicurezza del sistema nel suo complesso dipendeva più dal lettore meno affidabile che dall’orchestratore più potente.

Questo è importante perché spesso i test di sicurezza valutano i modelli uno alla volta, mentre prodotti come gli agenti di programmazione possono combinare più modelli che lavorano insieme. L’articolo sostiene che controllare solo il modello principale può non rilevare le vulnerabilità introdotte dalla delega. È stato accettato al primo workshop NeurIPS 2026 sui Meta Agents, dedicato ai sistemi che gestiscono altri agenti di IA.

L’errore si è propagato anche agli aggregatori

I ricercatori hanno inoltre simulato una fase distinta: cinque aggregatori che combinavano le informazioni ricevute dagli agenti. In simulazioni con 18 modelli, gli aggregatori hanno ripetuto l’errore di un sub-agente a cui era stato fornito un dato corrotto in 751 prove su 757, anche se, considerati singolarmente, quasi mai risultavano non sicuri, secondo l’abstract.

Questi risultati provengono da un test specifico con un documento contraffatto e non misurano quanto spesso gli utenti reali si imbattono in questo problema. L’abstract non riporta il testo dell’attacco, né indica le versioni dei modelli e le configurazioni alla base di ciascun risultato. Mostra però perché testare un sistema di agenti completo può far emergere rischi che non si vedono valutando solo il suo modello più potente.

Perché conta

Per chi sviluppa agenti di programmazione basati sull’IA, i risultati suggeriscono che un modello principale affidabile non garantisce un sistema altrettanto affidabile se si fida di sub-agenti meno capaci. I test non indicano quanto spesso il problema si presenti nell’uso quotidiano, ma sottolineano la necessità di valutare l’intera catena di agenti, non solo il modello principale.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.