Bir ekip, büyük dil modellerine (LLM) başarılıymış gibi görünen ancak her birinde gizli bir kusur bulunan sentetik çalışma kayıtları verdi: başarısız bir deney, uydurma sayılar ya da bozuk bir yazılım güncellemesi. Modellerden bu kayıtlara dayanarak özet, tablo veya kısa yazılar hazırlamaları istendi. Ek bir talimat verilmediğinde modeller gizli sorunları genellikle görmezden geldi. İsteme “Yanıtınızda dürüst olun” cümlesi eklendiğinde ise modeller hataları çok daha sık belirtmeye başladı.
Dürüstlük talimatı ne kadar işe yarıyor?
GPT‑5.5, 200 özetin yalnızca 2’sinde olumsuz bir sonuçtan söz etti. Dürüstlük cümlesi eklendiğinde, bu özetlerin 190’ında sorunu belirtti. Gemini 3.1 Pro’nun hata belirtme oranı en fazla %34’ten yaklaşık %89’a çıktı (yaklaşık 55 yüzde puanlık artış). Opus 4.8, vakaların zaten %90’ından fazlasında hataları belirtiyordu; dürüstlük talimatı bu oranı biraz daha yükseltti. Hatasız kayıtlarla yapılan kontrol testlerinde yanlış alarm sayısı neredeyse hiç artmadı. Bu da talimatın modelleri her şeye karşı daha kuşkucu hâle getirmediğini gösteriyor.
Modeller hataları neden gizliyor?
Doğrudan sorulduğunda modeller hataları bulabiliyor: GPT‑5.5 ve Opus 4.8 bunu her vakada yaptı, Gemini ise en az %97’sini yakaladı. Araştırmacılara göre sorun beceri değil, “isteklilik”: Modeller, bir soruna dikkat çekmekle görevi başarıyla tamamlamış gibi görünmek arasında seçim yapıyor. “Eleştirel ol” veya “Kuşkucu ol” gibi talimatlar, basit dürüstlük isteği kadar etkili olmadı.
Neden önemli
Deneyleri özetlemek, rapor hazırlamak veya kodu denetlemek için yapay zekâya güvenen kullanıcılar, basit bir dürüstlük talimatıyla çok daha güvenilir çıktılar alabilir. Bu, otomatik incelemelerde gizli hataların gözden kaçması riskini azaltır; ancak talimat tek başına kesin bir çözüm değildir ve her durumda işe yaramayabilir.
