Die Forschenden stellen MCRP vor, eine Methode zur Erkennung von Texten, die von großen Sprachmodellen verfasst wurden – auch wenn diese anschließend umgeschrieben, sprachlich verbessert oder erweitert wurden. MCRP nutzt ein eingefrorenes Sprachmodell, um zu vergleichen, wie ein Text auf passende, veränderte und Kontroll-Prompts reagiert. Diese Messwerte fließen anschließend in einen Random-Forest-Klassifikator ein.
In ihren Tests erzielte MCRP bei Textüberarbeitungen einen F1-Wert von 93,97 % und einen ROC-AUC-Wert von 96,24 %. Damit lag die Methode 19,50 beziehungsweise 25,77 Prozentpunkte vor der stärksten getesteten Vergleichsmethode. Dabei handelt es sich um Ergebnisse aus der Studie – nicht um einen Beleg dafür, dass die Methode bei jeder Art von bearbeitetem Text oder im Alltag gleichermaßen gut funktioniert.
Warum es wichtig ist
Für Redaktionen oder Plattformen, die mutmaßlich KI-verfasste Texte prüfen, könnte die Methode auch bei überarbeiteten Inhalten hilfreich sein. Die Studie belegt jedoch nicht, wie zuverlässig sie bei Texten funktioniert, die im Alltag anfallen.
