Oossa

OpenAI permite auditar sus sistemas de IA en sus oficinas

Apollo Research, METR, Goodfire y Transluce tendrán acceso directo a modelos inéditos y datos, en la primera revisión de seguridad presencial.

Por Publicado por Oossa: 1 min de lectura

Christina @ wocintechchat.com M · Unsplash

OpenAI anunció que cuatro grupos independientes trabajarán en sus oficinas para auditar sus sistemas de IA. Los auditores —Apollo Research, METR, Goodfire y Transluce— podrán consultar el código fuente, los datos de entrenamiento, las herramientas de supervisión y modelos inéditos. También podrán entrevistar a desarrolladores de forma confidencial. OpenAI afirma que este programa piloto responde a los compromisos asumidos en el «Acuerdo sobre Superinteligencia» de la Casa Blanca.

Apollo se centrará en determinar si los modelos intentan sabotear su propia alineación o la de futuras versiones. METR buscará comportamientos peligrosos que podrían pasar inadvertidos en las pruebas de OpenAI y también evaluará la capacidad de la empresa para detectarlos. Goodfire utilizará su plataforma de interpretabilidad para trazar los procesos internos de los modelos y proponer correcciones. Transluce evaluará las comprobaciones de seguridad posteriores al entrenamiento y prevé una revisión de seguimiento de ocho semanas a principios de 2027. Un consejo de seguridad independiente recibirá los informes íntegros, sin censura, y mediará en cualquier disputa. OpenAI podrá ocultar información confidencial y aplazar la publicación para abordar primero los riesgos.

El programa se basa en una revisión presencial anterior de los sistemas de supervisión de OpenAI. También amplía una práctica que comenzó en Anthropic, donde investigadores de METR recibieron el mes pasado acceso equivalente al de los empleados. Algunos críticos señalan que Apollo y Goodfire cobran por su trabajo, mientras que METR y Transluce solo reciben créditos de computación o de API. Algunos expertos en seguridad, como Buck Shlegeris, director ejecutivo de Redwood, sostienen que el acceso concedido aún no alcanza el nivel «similar al de un empleado» que muchos han reclamado.

Por qué importa

Para quienes usan ChatGPT u otros productos de OpenAI, las auditorías podrían sacar a la luz fallos ocultos antes de que los modelos lleguen al público. Si los auditores detectan graves deficiencias de seguridad, OpenAI podría tener que corregirlas o retrasar lanzamientos, lo que afectaría la llegada de nuevas funciones y los precios.

Por qué importa

Las auditorías ofrecen una perspectiva externa sobre el comportamiento de los modelos más potentes de OpenAI durante el entrenamiento, no solo después de su lanzamiento. Esto podría dar lugar a productos más seguros para los usuarios, aunque la limitada divulgación pública impide que terceros verifiquen plenamente los resultados por ahora.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.