Forskarna presenterade MCRP, en metod för att upptäcka text skriven av stora språkmodeller, även text som har skrivits om, putsats eller byggts ut. Metoden använder en fryst språkmodell för att jämföra hur ett textavsnitt reagerar på matchade, ändrade och kontrollprompter. Mätvärdena matas sedan in i en slumpig skogsmodell.
I författarnas utvärderingar fick MCRP 93,97 % F1 och 96,24 % ROC-AUC på reviderad text. Det var 19,50 respektive 25,77 procentenheter bättre än den starkaste testade baslinjen. Resultaten kommer från studien och visar inte hur metoden fungerar på alla typer av redigerad text eller i verkliga situationer.
Varför det spelar roll
För redaktörer eller plattformar som bedömer misstänkt AI-skriven text kan metoden vara ett sätt att hantera revideringar, men studien visar inte hur tillförlitlig den är för innehåll som förekommer i vardagen.
