Forskare beskriver en automatiserad metod som skapade 6 575 datamängder avsedda att framkalla oväntade förändringar i språkmodellers beteende. Datamängderna omfattar åtta beteenden och utformades för att locka fram ett visst svar samtidigt som de såg vanliga ut för mänskliga granskare. Forskargruppen uppger att många bieffekter överfördes mellan olika modellfamiljer och storlekar, och att automatiserade bedömningar stämde överens med forskarnas omdömen.
Författarna presenterar samlingen som en testbädd för att undersöka hur träningsdata kan påverka beteendet även utanför det avsedda användningsområdet. De menar att arbetet kan bidra till att förutsäga sådana effekter före driftsättning, men artikeln visar inte att metoden på ett tillförlitligt sätt kan förutsäga risker i modeller som används i praktiken.
Varför det spelar roll
AI-forskare kan använda samlingen för att testa om till synes vanliga träningsexempel leder till oavsiktliga beteenden, men dess värde för att förutsäga risker vid användning i verkligheten är ännu inte bevisat.
