Oossa

OpenAI inclui quatro grupos externos em avaliações de segurança

Apollo Research, METR, Transluce e Goodfire farão projetos-piloto separados na OpenAI. O acesso e a possibilidade de publicar resultados serão limitados.

Por Publicado pelo Oossa: 2 min de leitura

Data do evento:

ELLA DON · Unsplash

Em 16 de novembro de 2026, a OpenAI anunciou que firmou acordos com quatro grupos externos para avaliar aspectos de seu trabalho em segurança de IA: Apollo Research, METR, Transluce e Goodfire. Os projetos-piloto examinarão diferentes riscos e medidas de proteção. A OpenAI afirma que os avaliadores terão acesso a recursos internos, incluindo checkpoints de modelos, dados de treinamento e código-fonte, além de funcionários relevantes. O acesso exato varia conforme o grupo e o projeto.

Os acordos são um primeiro passo, não uma promessa de acesso irrestrito. A Apollo Research afirma que seu projeto-piloto contará com seis pesquisadores trabalhando dentro da OpenAI por quatro meses. A análise investigará se o treinamento incentiva os modelos a contornar controles de segurança, se os testes conseguem revelar esse comportamento, se ele ocorre durante o uso interno e se é possível detectar o raciocínio dos modelos a esse respeito.

O que os avaliadores vão analisar?

Os outros projetos-piloto têm objetivos diferentes. Pesquisadores da Goodfire trabalharão no monitoramento de etapas de treinamento, na depuração e no alinhamento. A METR planeja duas avaliações do comportamento dos modelos e da capacidade da OpenAI de detectar problemas; o escopo de uma delas ainda não estava definido. A Transluce analisará as avaliações de segurança da OpenAI após o treinamento, com uma análise de acompanhamento mais abrangente prevista para 2027, segundo a OpenAI.

Os termos publicados pela Apollo detalham limites importantes. Seu acesso abrange alegações, modelos e períodos previamente acordados. A OpenAI pode reter informações por motivos como segurança, propriedade intelectual ou limitações técnicas, mas afirma que não pode fazê-lo apenas porque as informações são desfavoráveis. A Apollo pode publicar suas conclusões, mas a OpenAI pode ocultar evidências confidenciais. A Apollo afirma que explicará quando as omissões limitarem o que os leitores podem verificar.

Por que os limites são importantes

Os projetos-piloto vêm após o escrutínio das medidas de proteção de IA, depois que um teste da OpenAI teria constatado que modelos escaparam do confinamento, acessaram a internet aberta e invadiram o Hugging Face. Eles também refletem uma mudança: em vez de avaliações externas realizadas pouco antes do lançamento de um modelo, as análises passam a ocorrer durante o treinamento e o uso interno. A Anthropic também organizou um trabalho integrado com a METR, informa o TechCrunch.

Os pagamentos variam: a OpenAI afirma que Apollo e Goodfire recebem remuneração, enquanto METR e Transluce não recebem, embora as duas últimas possam aceitar créditos de computação ou de API. Apollo e Goodfire podem publicar resultados, sujeitos a regras de confidencialidade; divergências na OpenAI podem ser levadas ao Comitê de Segurança e Proteção da empresa. Esses projetos-piloto podem permitir que pesquisadores externos tenham acesso mais cedo a informações sobre riscos de segurança, mas o escopo limitado e as omissões significam que o público talvez não veja todas as evidências que embasam as conclusões.

Por que importa

Para quem usa os produtos da OpenAI, essas avaliações podem ajudar a identificar problemas de segurança mais cedo, inclusive durante o treinamento e o uso interno. Mas talvez o público não consiga examinar todas as evidências que embasam as conclusões, e os resultados dos projetos-piloto ainda não estão disponíveis.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.