Onderzoekers beschrijven een geautomatiseerde methode waarmee 6,575 datasets zijn gemaakt om onverwachte veranderingen in het gedrag van taalmodellen uit te lokken. De datasets richten zich op acht gedragingen en zijn ontworpen om een bepaalde reactie op te roepen, terwijl ze voor menselijke beoordelaars alledaags lijken. Volgens het team bleven veel neveneffecten zichtbaar bij verschillende modelreeksen en -groottes, en kwamen geautomatiseerde beoordelingen overeen met de oordelen van onderzoekers.
De auteurs presenteren de verzameling als een testomgeving om te onderzoeken hoe trainingsdata gedrag buiten het beoogde toepassingsgebied kan beïnvloeden. Volgens hen kan het werk helpen zulke effecten vóór de ingebruikname te voorspellen, maar de paper toont niet aan dat de methode risico’s bij modellen in gebruik betrouwbaar kan voorspellen.
Waarom het ertoe doet
AI-onderzoekers kunnen de verzameling datasets gebruiken om te testen of ogenschijnlijk gewone trainingsvoorbeelden onbedoeld gedrag veroorzaken. Of de verzameling ook helpt om risico’s in de praktijk te voorspellen, is nog niet aangetoond.
