研究者、学習の副作用を検証する6,575件のデータセットを生成

研究者らは、言語モデルの挙動に予想外の変化を起こすことを狙った6,575件のデータセットを自動生成するパイプラインを発表しました。データセットは8種類の挙動を対象とし、人間の評価者にはありふれた内容に見えながら、狙った応答を引き出すように作られています。チームによると、副作用の多くはモデルの系列や規模をまたいで確認され、自動評価の結果も研究者の判断と一致しました。

著者らは、このコレクションを、学習データが意図した領域を超えてモデルの挙動にどう影響するかを調べるためのテストベッドとして位置づけています。こうした影響を導入前に予測する助けになる可能性があるとしていますが、このパイプラインで実際に導入されたモデルのリスクを確実に予測できることを論文が示したわけではありません。