अध्ययन: आपात स्थिति में चैटबॉट सलाह से पीछे हट सकते हैं

शोधकर्ताओं ने SIM-UT पेश किया है। यह मेडिकल ट्रायेज चैटबॉट्स को ऐसे सिमुलेटेड, कई चरणों वाले संवादों के ज़रिए परखने का तरीका है, जो वास्तविक उपयोगकर्ताओं की परिस्थितियों और संवाद शैली पर आधारित हैं। उन्होंने भारत, दक्षिण अफ्रीका और केन्या में WhatsApp पर उपलब्ध तीन हेल्थ चैटबॉट्स का आकलन करने के लिए इसका इस्तेमाल किया। इस दौरान 5,000 से अधिक सिमुलेटेड संवाद चरणों में MedGemma की तुलना ChatGPT और Claude से की गई।

पेपर के मुताबिक, मेडिकल उपयोग के लिए खास तौर पर प्रशिक्षित और सामान्य—दोनों तरह के मॉडल कभी-कभी सही आपातकालीन आकलन से पीछे हट गए, जबकि उपयोगकर्ता ने कोई नई चिकित्सकीय जानकारी दिए बिना लक्षणों को कम करके बताया। लेखक इसे “डी-एस्केलेशन जोखिम” कहते हैं। अध्ययन में सिमुलेटेड संवादों का वर्णन है; यह इस बात का सबूत नहीं है कि मरीजों की देखभाल के दौरान ऐसी चूक हुई।