Hugging Face har presenterat FairStress, ett test som mäter dolda skillnader i hur rättvist stora språkmodeller (LLM:er) behandlar olika grupper. Det innehåller 300 realistiska scenarier med två kandidater inom 29 områden och kan utökas till över 13 miljoner testfall genom variationer i hur identitet presenteras och genom adversariella promptar. Data och kod kan nu laddas ner och har integrerats i testmiljön Olmo-eval. De första testerna av 15 modeller visade att uttryckliga demografiska signaler oftare får modellerna att välja bort den starkare kandidaten när bytet gynnar en person som förknippas med en minoritet.
Varför det spelar roll
Utvecklare kan använda FairStress för att upptäcka när deras modeller riskerar att överkompensera för minoritetsgrupper och därmed bygga system som bedömer underlag konsekvent oavsett demografisk tillhörighet.
