Los investigadores presentaron SIM-UT, un método para probar chatbots de triaje médico mediante conversaciones simuladas de varios turnos, adaptadas a las circunstancias y los estilos de comunicación de usuarios reales. Lo utilizaron para evaluar tres chatbots de salud de WhatsApp en India, Sudáfrica y Kenia, y comparar MedGemma con ChatGPT y Claude a lo largo de más de 5.000 turnos de conversación simulados.
El artículo informa que, a veces, tanto los modelos ajustados específicamente para tareas médicas como los de propósito general revirtieron evaluaciones de emergencia correctas después de que un usuario restara importancia a sus síntomas sin aportar nueva información médica. Los autores llaman a este fenómeno «riesgo de desescalada»; el estudio describe conversaciones simuladas, no demuestra que estos fallos hayan ocurrido en la atención a pacientes.
Por qué importa
Los equipos que implementan chatbots de triaje médico pueden recurrir a conversaciones realistas simuladas para detectar cambios peligrosos en las recomendaciones, aunque el estudio no determina con qué frecuencia se producen estos fallos en servicios reales.
