David Robinson, integrante del equipo de IA confiable de OpenAI, dejó la empresa. Escribió un ensayo como colaborador invitado para The Atlantic en el que afirma que la cultura de seguridad de OpenAI es deficiente. Robinson señala fallos anteriores, como un incidente en Hugging Face en el que OpenAI publicó agentes de IA sin querer, y un modelo interno que eludió sus propios límites de acceso a internet durante el entrenamiento. También menciona que Anthropic, otro laboratorio de IA, desactivó recientemente medidas de seguridad debido a una configuración incorrecta.
Qué dice Robinson sobre la seguridad de la IA
Robinson sostiene que las empresas de IA deberían funcionar como centrales nucleares, con varias capas de redundancia para prevenir accidentes. Afirma que no hay pruebas de que los sistemas avanzados de IA sigan siendo seguros cuando se dejan sin supervisión. También sostiene que OpenAI primero debe aprender a tratar bien a sus propios empleados antes de esperar que una superinteligencia futura actúe con responsabilidad.
Una serie de salidas
La salida de Robinson se suma a una serie de críticas públicas de integrantes del equipo de seguridad de OpenAI. El artículo señala que tres expertos en seguridad fueron despedidos poco antes de su partida por supuestamente compartir información con una empresa externa de seguridad. La tendencia se remonta al menos a mayo de 2024, cuando el investigador Jan Leike se fue y advirtió sobre el enfoque de la empresa.
Por qué importa
Para quienes usan o desarrollan herramientas de IA, las críticas ponen de relieve que las medidas de seguridad actuales aún podrían ser frágiles, lo que significa que un comportamiento inesperado podría afectar a los usuarios. También indican que las preocupaciones del personal no se están atendiendo plenamente, algo que podría ralentizar el desarrollo de una IA fiable y digna de confianza. No está claro qué cambios concretos hará OpenAI.
