Onderzoekers introduceerden MCRP, een methode om tekst te herkennen die is geschreven door grote taalmodellen, ook als die tekst is herschreven, bijgewerkt of uitgebreid. De methode gebruikt een bevroren taalmodel om te vergelijken hoe een passage reageert op bij elkaar passende aangepaste prompts en controleprompts. Die metingen worden vervolgens ingevoerd in een random-forestclassificator.
In de evaluaties van de auteurs behaalde MCRP op tekstbewerkingen een F1-score van 93,97% en een ROC-AUC-score van 96,24%. Daarmee presteerde de methode respectievelijk 19,50 en 25,77 procentpunt beter dan de sterkste geteste basismethode. Dit zijn gerapporteerde onderzoeksresultaten, geen bewijs dat de methode goed werkt bij elke vorm van bewerkte tekst of in praktijksituaties.
Waarom het ertoe doet
Voor redacties of platforms die mogelijk door AI geschreven tekst beoordelen, kan de methode een manier bieden om ook bewerkte versies te beoordelen. Het artikel toont echter niet aan hoe betrouwbaar die is bij content uit het dagelijks gebruik.
