Pesquisadores apresentaram o SIM-UT, um método para testar chatbots de triagem médica por meio de conversas simuladas com várias interações, moldadas pelas circunstâncias e pelos estilos de comunicação de usuários reais. Eles usaram o método para avaliar três chatbots de saúde no WhatsApp na Índia, na África do Sul e no Quênia, comparando o MedGemma com o ChatGPT e o Claude em mais de 5.000 turnos de conversa simulados.
O artigo relata que tanto os modelos ajustados para uso médico quanto os de propósito geral às vezes revertiam avaliações corretas de emergência depois que um usuário minimizava os sintomas, sem acrescentar novas informações médicas. Os autores chamam isso de “risco de desescalada”; o estudo descreve conversas simuladas, não apresenta evidências de que essas falhas tenham ocorrido no atendimento a pacientes.
Por que importa
Equipes que implementam chatbots de triagem médica podem usar conversas simuladas e realistas para identificar mudanças perigosas nas orientações, embora o estudo não determine com que frequência essas falhas ocorrem em serviços ativos.
