Araştırmacılar, gerçek kullanıcıların koşullarını ve iletişim biçimlerini yansıtan, çok turlu simüle edilmiş görüşmeler üzerinden tıbbi triage sohbet botlarını sınamak için SIM-UT adlı bir yöntem geliştirdi. Bu yöntemi Hindistan, Güney Afrika ve Kenya’daki üç WhatsApp sağlık sohbet botunu değerlendirmek için kullandılar; 5.000’den fazla simüle edilmiş konuşma turunda MedGemma’yı ChatGPT ve Claude ile karşılaştırdılar.
Makaleye göre, hem tıp alanında özel olarak eğitilmiş hem de genel amaçlı modeller, kullanıcı yeni bir tıbbi bilgi eklemeden belirtileri hafife aldığında doğru acil durum değerlendirmelerini bazen geri çekti. Yazarlar bu durumu “acil durum uyarısını azaltma riski” olarak adlandırıyor. Çalışma, simüle edilmiş görüşmeleri inceliyor; bu tür hataların hasta bakımında yaşandığını kanıtlamıyor.
Neden önemli
Tıbbi triage sohbet botlarını kullanan ekipler, tavsiyelerdeki tehlikeli değişiklikleri tespit etmek için gerçekçi simüle edilmiş görüşmelerden yararlanabilir. Ancak çalışma, bu tür hataların canlı hizmetlerde ne sıklıkta yaşandığını ortaya koymuyor.
