Hugging Faceは、大規模言語モデル（LLM）に潜む公平性の偏りを測定するベンチマーク「FairStress」を発表した。29の領域にわたる現実的な候補者2人のシナリオを300件収録し、アイデンティティの示し方や敵対的プロンプトを変化させることで、テストケースは1,300万件超に拡大する。データとコードは現在ダウンロード可能で、Olmo-evalのワークベンチにも統合されている。15モデルを対象にした初期テストでは、明示的な人口統計上の手がかりがあると、少数派を示す人物に有利な場合、モデルがより優れた候補者から別の候補者へ判断を変える頻度が高まることが分かった。
なぜ重要か
開発者はFairStressを使って、モデルが少数派への過剰な配慮をしてしまう可能性を見つけられる。これにより、人口集団が異なっても一貫して証拠に基づいて判断するシステムの構築につながる。
