arXiv पर प्रकाशित एक नए शोधपत्र “Invisibilization as a Source of Probability Bias in Language Models” में यह मापा गया कि रिपोर्टर की बताई गई नस्ल के आधार पर अग्रणी मॉडल कितनी बार उसकी रिपोर्ट पर भरोसा करने से इनकार करते हैं। 6,600 सत्रों में दो-कलश वाले खेल का इस्तेमाल करते हुए शोधकर्ताओं ने पाया कि OpenAI और Anthropic के मॉडल अश्वेत बताए गए रिपोर्टर की जानकारी का आकलन करने से 46 % बार इनकार करते हैं, जबकि श्वेत बताए गए रिपोर्टर के मामले में यह दर 9 % थी। जब मॉडल जानकारी का आकलन करते थे, तो अश्वेत बताए गए स्रोत पर उनका भरोसा थोड़ा अधिक था। बार-बार के दौरों में सही आकलन को पुरस्कृत करने वाली अंक-प्रणाली लागू करने पर यह पूर्वाग्रह समाप्त हो जाता है।
यह क्यों मायने रखता है
AI सहायकों के डेवलपरों को जानना चाहिए कि मौजूदा LLMs कथित नस्ल के आधार पर चुपचाप जानकारी को तरजीह दे सकते हैं या ठुकरा सकते हैं। इससे ग्राहक सहायता या मेडिकल ट्रायेज़ जैसे क्षेत्रों में निष्पक्षता प्रभावित हो सकती है।
