Исследователи представили MCRP — метод выявления текстов, созданных большими языковыми моделями, в том числе переписанных, отредактированных или дополненных. Он использует замороженную языковую модель, чтобы сравнить реакцию фрагмента текста на согласованные, измененные и контрольные запросы, а затем передает полученные показатели классификатору случайного леса.
В ходе оценки авторов MCRP набрал 93,97% по F1 и 96,24% по ROC-AUC на переработанных текстах, превзойдя лучший из проверенных базовых методов на 19,50 и 25,77 процентного пункта соответственно. Это результаты исследования, а не свидетельство того, что метод справляется со всеми видами редактирования текста или работает так же в реальных условиях.
Почему это важно
Редакторам и платформам, которым нужно оценивать тексты с подозрением на генерацию ИИ, метод может помочь выявлять переработанные варианты. Однако статья не подтверждает его надежность на контенте, с которым сталкиваются в повседневной работе.
