پژوهشگران SIM-UT را معرفی کردند؛ روشی برای آزمایش چت‌بات‌های تریاژ پزشکی از طریق گفت‌وگوهای چندمرحله‌ای شبیه‌سازی‌شده که شرایط و شیوه‌های ارتباطی کاربران واقعی را بازتاب می‌دهند. آن‌ها با این روش سه چت‌بات سلامت در واتس‌اپ را در هند، آفریقای جنوبی و کنیا ارزیابی کردند و MedGemma را با ChatGPT و Claude در بیش از 5,000 نوبت گفت‌وگوی شبیه‌سازی‌شده مقایسه کردند.
این مقاله گزارش می‌دهد که هم مدل‌های به‌طور تخصصی برای کاربرد پزشکی تنظیم‌شده و هم مدل‌های همه‌منظوره، گاهی پس از آنکه کاربر بدون ارائه اطلاعات پزشکی تازه‌ای علائم را کم‌اهمیت جلوه می‌داد، ارزیابی درست خود از وضعیت اضطراری را پس می‌گرفتند. نویسندگان این پدیده را «خطر کاهش سطح فوریت» می‌نامند؛ این پژوهش گفت‌وگوهای شبیه‌سازی‌شده را بررسی می‌کند و مدرکی نیست که نشان دهد چنین خطاهایی در مراقبت از بیماران رخ داده‌اند.
چرا مهم است
تیم‌هایی که چت‌بات‌های تریاژ پزشکی به کار می‌گیرند می‌توانند با استفاده از گفت‌وگوهای واقع‌گرایانه شبیه‌سازی‌شده، تغییرات خطرناک در توصیه‌ها را شناسایی کنند؛ هرچند این پژوهش مشخص نمی‌کند چنین خطاهایی در خدمات واقعی چند بار رخ می‌دهند.
