I ricercatori hanno presentato SIM-UT, un metodo per testare i chatbot di triage medico attraverso conversazioni simulate a più turni, modellate sulle circostanze e sugli stili comunicativi di utenti reali. Lo hanno usato per valutare tre chatbot sanitari su WhatsApp in India, Sudafrica e Kenya, confrontando MedGemma con ChatGPT e Claude in oltre 5.000 turni di conversazione simulati.
Secondo il documento, sia i modelli ottimizzati per l’ambito medico sia quelli generalisti a volte hanno ritrattato valutazioni corrette di emergenze dopo che un utente aveva minimizzato i sintomi, senza aggiungere nuove informazioni mediche. Gli autori definiscono questo fenomeno «rischio di de-escalation»; lo studio descrive conversazioni simulate, non dimostra che questi errori si siano verificati nell’assistenza ai pazienti.
Perché conta
I team che implementano chatbot per il triage medico possono servirsi di conversazioni simulate e realistiche per individuare cambiamenti pericolosi nei consigli, anche se lo studio non stabilisce quanto spesso si verifichino errori simili nei servizi attivi.
