Oossa

Un estudio prueba un detector de textos de IA reescritos

Los investigadores afirman que el método obtuvo una puntuación F1 del 93,97 % en textos revisados, pero el estudio no demuestra cómo funciona en situaciones reales.

BrevePor Publicado por Oossa: 1 min de lectura

Los investigadores presentaron MCRP, un método para detectar textos escritos por modelos de lenguaje grandes, incluso cuando han sido reescritos, pulidos o ampliados. El método utiliza un modelo de lenguaje congelado para comparar cómo responde un pasaje a indicaciones emparejadas, modificadas y de control; luego, introduce esas mediciones en un clasificador de bosque aleatorio.

En las evaluaciones de los autores, MCRP obtuvo una puntuación F1 del 93,97 % y un ROC-AUC del 96,24 % en textos revisados, superando la mejor línea de base evaluada en 19,50 y 25,77 puntos porcentuales, respectivamente. Son resultados declarados en el estudio, no pruebas de su rendimiento con todo tipo de textos editados ni en situaciones reales.

Por qué importa

Para editores o plataformas que evalúan textos sospechosos de haber sido escritos con IA, el método podría servir para analizar textos revisados, pero el estudio no demuestra que sea fiable con el contenido que se encuentra en el uso cotidiano.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.