Pesquisadores descrevem um processo automatizado que gerou 6.575 conjuntos de dados destinados a provocar mudanças inesperadas no comportamento de modelos de linguagem. Os conjuntos abrangem oito comportamentos e foram criados para induzir uma resposta específica, embora parecessem comuns a avaliadores humanos. A equipe afirma que muitos efeitos colaterais se mantiveram em diferentes famílias e tamanhos de modelos, e que as avaliações automatizadas acompanharam as opiniões dos pesquisadores.
Os autores apresentam a coleção como um ambiente de testes para estudar como os dados de treinamento podem afetar o comportamento para além do domínio pretendido. Segundo eles, o trabalho pode ajudar a prever esses efeitos antes da implantação, mas o artigo não demonstra que o processo consiga prever riscos de forma confiável em modelos já implantados.
Por que importa
Pesquisadores de IA podem usar a coleção para testar se exemplos de treinamento aparentemente rotineiros geram comportamentos indesejados, embora ainda não esteja comprovado que ela seja útil para prever riscos de implantação no mundo real.
