研究人员推出了 MCRP,这是一种用于检测大型语言模型生成文本的方法,也能检测经过改写、润色或扩写的文本。该方法使用一个冻结的语言模型,比较一段文本对匹配提示、改动后的提示和对照提示的响应,再将这些测量结果输入随机森林分类器。
在作者的评估中,MCRP 在改写文本上的 F1 分数为 93.97%,ROC-AUC 为 96.24%,分别比测试中表现最好的基线方法高出 19.50 和 25.77 个百分点。这些是论文报告的研究结果,并不能证明该方法适用于所有类型的编辑文本或现实场景。
为什么重要
对于评估疑似由 AI 撰写文本的编辑或平台而言,该方法或许能帮助处理经过改写的内容,但论文尚未证明它能可靠识别日常使用中遇到的内容。