Hugging Face hat FairStress vorgestellt, einen Benchmark, der verborgene Fairness-Unterschiede bei großen Sprachmodellen (LLMs) misst. Er umfasst 300 realistische Szenarien mit jeweils zwei Kandidaten aus 29 Bereichen und lässt sich durch Variationen bei der Darstellung der Identität und adversariale Prompts auf mehr als 13 Millionen Testfälle erweitern. Daten und Code stehen jetzt zum Download bereit und sind in die Olmo-eval-Workbench integriert. Erste Tests mit 15 Modellen zeigten, dass explizite demografische Hinweise dazu führen können, dass Modelle häufiger vom stärkeren Kandidaten abrücken, wenn dadurch eine Person bevorzugt wird, die einer Minderheit zugeordnet wird.
Warum es wichtig ist
Entwickler können mit FairStress erkennen, wann ihre Modelle Minderheiten möglicherweise übermäßig berücksichtigen. So können sie Systeme entwickeln, die Belege unabhängig von der demografischen Zugehörigkeit konsistent bewerten.
