Hugging Face anunció FairStress, una prueba de referencia que mide las asimetrías de equidad ocultas en los modelos de lenguaje grandes (LLM). Incluye 300 escenarios realistas con dos candidatos en 29 ámbitos y se amplía a más de 13 millones de casos de prueba mediante variaciones en la presentación de identidades y el uso de instrucciones adversariales. Los datos y el código ya se pueden descargar y están integrados en el entorno de evaluación Olmo‑eval. Las pruebas iniciales con 15 modelos mostraron que las señales demográficas explícitas pueden hacer que los modelos dejen de elegir al candidato más sólido con mayor frecuencia cuando el cambio favorece a una persona asociada a una minoría.
Por qué importa
Los desarrolladores pueden usar FairStress para detectar cuándo sus modelos podrían compensar en exceso en favor de grupos minoritarios y crear sistemas que evalúen las pruebas de forma coherente entre distintos grupos demográficos.
