“Invisibilization as a Source of Probability Bias in Language Models” başlıklı yeni bir arXiv makalesi, önde gelen modellerin muhabirin tanımlanan ırkına bağlı olarak bir habere güvenmeyi ne sıklıkla reddettiğini ölçtü. Yazarlar, 6,600 oturum boyunca iki testili bir oyun kullandı. OpenAI ve Anthropic modellerinin, Siyah olarak tanımlanan bir muhabirin haberini değerlendirmeyi %46 oranında reddettiği, beyaz olarak tanımlanan bir muhabirde bu oranın %9 olduğu görüldü. Modeller bilgiyi değerlendirdiğinde ise Siyah olarak tanımlanan kaynağa biraz daha fazla güven duydu. Doğru değerlendirmeleri art arda tekrarlanan turlarda ödüllendiren bir puanlama sistemi kullanıldığında önyargı ortadan kalktı.
Neden önemli
Yapay zekâ asistanı geliştiricilerinin, günümüz LLM’lerinin algılanan ırka göre bilgileri sessizce destekleyebildiğini ya da reddedebildiğini bilmesi gerekiyor. Bu durum, müşteri desteği veya tıbbi triyaj gibi uygulamalarda adaleti etkileyebilir.
