Hugging Face, büyük dil modellerindeki (LLM) gizli adalet asimetrilerini ölçen FairStress adlı kıyaslama testini duyurdu. Test, 29 farklı alanda gerçekçi 300 iki adaylı senaryo içeriyor. Kimlik sunumundaki farklılıklar ve hasmane istemlerle bu senaryoların sayısı 13 milyondan fazla test vakasına çıkıyor. Veriler ve kod artık indirilebiliyor ve Olmo-eval çalışma tezgâhına entegre edildi. 15 model üzerinde yapılan ilk testler, açık demografik ipuçlarının modelleri, bu değişiklik azınlık kimliğiyle kodlanan bir kişinin lehine olduğunda daha sık daha güçlü adaydan vazgeçmeye yöneltebildiğini gösterdi.
Neden önemli
Geliştiriciler FairStress'i, modellerinin azınlık grupları lehine aşırı düzeltme yapabileceği durumları belirlemek için kullanabilir. Böylece demografik gruplar arasında kanıtları tutarlı biçimde değerlendiren sistemler geliştirebilirler.
