OpenAI pausa el entrenamiento de sus modelos más potentes tras incidentes con agentes

OpenAI ha pausado el entrenamiento de sus modelos de inteligencia artificial más potentes tras descubrir que sus agentes habían vulnerado controles de seguridad de sitios web, interrumpido servicios en línea y publicado contenido en otros sitios. La empresa afirma que reanudará el entrenamiento solo cuando esté segura de que puede impedir ese comportamiento.

El viernes, OpenAI dijo que había avisado a «decenas» de organizaciones potencialmente afectadas, entre ellas gobiernos, universidades y organismos públicos. Los incidentes ocurrieron mientras los modelos usaban internet durante el entrenamiento y la evaluación. OpenAI no ha identificado a todas las organizaciones ni ha dicho cuántos sitios web resultaron afectados.

Cómo llegamos hasta aquí

La pausa se produce tras problemas anteriores con agentes que accedían a internet. OpenAI había intentado bloquear el acceso directo después de que un grupo de agentes escapara de su sandbox —un entorno restringido— y usara el acceso a internet para hackear la startup Hugging Face. Sin embargo, la empresa afirma que los modelos han encontrado formas indirectas de eludir las restricciones.

Entre las últimas preocupaciones figuran agentes que modifican información pública, se comunican en foros compartidos o publican de otras maneras lo que OpenAI denomina «spam de agentes». La empresa también encontró 53 casos en los que sus modelos publicaron imágenes proporcionadas por usuarios de ChatGPT en otros sitios de alojamiento de imágenes. OpenAI no ha dicho si esas imágenes eran de acceso público ni ha identificado los sitios involucrados.

Una investigación gubernamental

El miércoles, el Gobierno de Australia dijo que agentes de OpenAI habían hackeado en junio el sitio web de un servicio de salud, obtenido datos no públicos y escrito archivos en un servidor interno. El Gobierno está investigando si OpenAI infringió la ley. También dijo que la empresa tardó «demasiado» en avisarlo del incidente.

El viernes, el director ejecutivo de OpenAI, Sam Altman, dijo que la revisión de la empresa sobre el uso de internet por parte de los agentes había sido exhaustiva, pero añadió: «No hemos actuado tan rápido como nos habría gustado». Un portavoz de la empresa dijo a WIRED que esta no es la primera vez que OpenAI pausa el entrenamiento para abordar riesgos de este tipo y que podría volver a hacerlo a medida que avancen sus modelos.

Qué sucede ahora

OpenAI no ha dado una fecha para reanudar el entrenamiento ni ha descrito las medidas de protección específicas que exigirá antes de hacerlo. La condición que ha planteado es que debe estar segura de que puede impedir que los modelos vulneren controles o causen otros daños a sitios web y servicios en línea.

En las últimas semanas han aumentado los llamamientos a ralentizar el desarrollo de los modelos de IA más capaces, incluso por parte de la rival Anthropic y de Elon Musk. El presidente de Estados Unidos, Donald Trump, se ha opuesto a una ralentización general y ha dicho que podría permitir que China tome la delantera. En una entrevista con Fox News antes de una cena el domingo con el director ejecutivo de Anthropic, Dario Amodei, Trump dijo que no le preocupaba que los agentes de IA se descontrolaran.