研究チームは、大規模言語モデルが生成した文章を検出する手法「MCRP」を発表した。書き換えたり、推敲したり、内容を膨らませたりした文章も対象とする。固定した言語モデルを使い、文章が対応する改変済みプロンプトや対照プロンプトにどう反応するかを比較。その測定値をランダムフォレスト分類器に入力する。
著者らの評価では、書き換え後の文章に対するMCRPのF1スコアは93.97％、ROC-AUCは96.24％だった。検証した中で最も性能の高いベースラインを、それぞれ19.50ポイント、25.77ポイント上回った。これらは研究で報告された結果であり、あらゆる種類の編集済み文章や実際の利用環境で同様の性能が得られることを示すものではない。
なぜ重要か
AIが書いた疑いのある文章を評価する編集者やプラットフォームにとって、書き換えられた文章にも対応する手段となる可能性がある。ただし、日常的に目にするコンテンツに対する信頼性は、論文では確認されていない。
