Pesquisadores apresentaram o MCRP, um método para detectar textos escritos por grandes modelos de linguagem, inclusive textos reescritos, revisados ou ampliados. O método usa um modelo de linguagem congelado para comparar as respostas de um trecho a prompts correspondentes, alterados e de controle. Em seguida, alimenta essas medições em um classificador de floresta aleatória.
Nas avaliações dos autores, o MCRP obteve F1 de 93,97% e ROC-AUC de 96,24% em textos revisados, superando a melhor linha de base testada em 19,50 e 25,77 pontos percentuais, respectivamente. Esses são resultados relatados no estudo, não evidências de desempenho em todos os tipos de texto editado ou em situações reais.
Por que importa
Para editores ou plataformas que avaliam textos suspeitos de terem sido escritos por IA, o método pode oferecer uma forma de lidar com revisões, mas o artigo não demonstra sua confiabilidade em conteúdos encontrados no dia a dia.
