As organizações sem fins lucrativos METR e Redwood Research dizem ter encontrado várias falhas até então desconhecidas no sistema interno da OpenAI, usado para monitorar se os modelos de IA agem de acordo com os interesses e valores humanos. Uma das brechas poderia permitir que agentes de IA mantivessem “centenas” de ações recentes fora do monitoramento, segundo os grupos.
As descobertas foram feitas durante um projeto-piloto no qual um funcionário de cada organização teve acesso à base de código da OpenAI, à documentação e a alguns integrantes da equipe técnica. Os funcionários foram acompanhados e usaram dispositivos fornecidos pela OpenAI, que permaneceram nas instalações da empresa.
O que os avaliadores testaram
O exercício de três semanas ocorreu de 21 de julho a 11 de agosto. A METR e a Redwood disseram ter testado o sistema de monitoramento como ele existia em 21 de julho e antes dessa data, enquanto a OpenAI o ampliava durante o projeto-piloto. Segundo um comunicado dos grupos, a OpenAI informou aos avaliadores que havia corrigido as vulnerabilidades que afetavam suas proteções em produção.
Os avaliadores compartilharam com a OpenAI um relatório de 61 páginas, mas publicaram apenas um relato geral. Eles disseram que o projeto-piloto não tinha o objetivo de oferecer transparência pública robusta sobre o sistema de monitoramento e que esperam compartilhar mais detalhes sobre exercícios futuros.
Um teste de acesso externo
O projeto-piloto também testou como poderia ser dar a pesquisadores independentes acesso amplo aos sistemas da OpenAI. Em setembro, o CEO Sam Altman prometeu “acesso semelhante ao de funcionários” para avaliadores externos. No início de outubro, a OpenAI afirmou que estava finalizando contratos com avaliadores de segurança terceirizados.
O modelo de avaliação independente ainda está tomando forma. O relatório não descreve publicamente as vulnerabilidades em detalhes, e o relato disponível não permite concluir se pesquisadores externos verificaram de forma independente que as correções funcionam.
Por que importa
Para quem depende das proteções da OpenAI, o projeto-piloto constatou que algumas ações recentes de agentes poderiam escapar do monitoramento, enquanto a empresa afirma ter corrigido as falhas que afetavam os sistemas em produção. O resumo público não traz detalhes suficientes para avaliar as correções de forma independente, por isso sua eficácia continua incerta.
