研究人员介绍了一套自动化流程,用来生成6,575组旨在引发语言模型意外行为变化的数据集。这些数据集涵盖八种行为,设计目的是诱发特定回应,同时在人工审核者看来又十分普通。研究团队表示,许多副作用会延续到不同系列和规模的模型中,而且自动评分结果与研究人员的判断相符。
作者将这批数据集作为研究训练数据如何影响预期领域之外模型行为的测试平台。他们表示,这项工作或有助于在部署前预测此类影响,但论文并未证明该流程能够可靠预测已部署模型的风险。
为什么重要
AI研究人员可以用这批数据集测试看似常规的训练样例是否会引发非预期行为,但它能否用于预测现实部署风险,目前仍未得到证实。