Hugging Face heeft FairStress aangekondigd, een benchmark die verborgen verschillen in eerlijkheid bij grote taalmodellen (LLM’s) meet. De benchmark bevat 300 realistische scenario’s met twee kandidaten, verdeeld over 29 domeinen. Met variaties in de manier waarop identiteiten worden aangeduid en met adversariële prompts groeit het aantal testgevallen tot meer dan 13 miljoen. De data en code zijn nu te downloaden en geïntegreerd in de Olmo-eval-werkomgeving. Eerste tests met 15 modellen lieten zien dat expliciete demografische aanwijzingen modellen er vaker toe kunnen brengen de sterkere kandidaat te laten vallen, wanneer die keuze een persoon oplevert die als behorend tot een minderheid wordt aangeduid.
Waarom het ertoe doet
Ontwikkelaars kunnen FairStress gebruiken om te ontdekken wanneer hun modellen mogelijk te sterk corrigeren voor minderheidsgroepen. Zo kunnen ze systemen bouwen die bewijs consistent beoordelen, ongeacht demografische kenmerken.
