Araştırmacılar, klinisyenler tarafından yazılmış kullanıcı mesajları ve desteğin yedi boyutunu puanlayan bir değerlendirme cetveli içeren 718 İngilizce kriz konuşmasından oluşan DistressBench veri kümesini 2026-10-12’de arXiv’de yayımladı. Kıyaslama testi, modelleri yalnızca yanıt vermeyi reddedip reddetmediklerine göre değil, gerekli bakımın ne kadarını sunduklarına göre puanlıyor. Değerlendirilen 25 model arasında en başarılısı, ağırlıklı ölçütlerin %88,4’ünü karşılarken klinisyenler aynı değerlendirme cetvelinde %98,7 puan aldı.
Neden önemli
Bu kıyaslama testi, geliştiricilerin modellerin gerçek kriz desteğinde nerelerde yetersiz kaldığını, özellikle de kullanıcıları insan desteğine yönlendirme konusunda, görmesini sağlıyor.
