Onderzoekers introduceerden SIM-UT, een methode om medische triagechatbots te testen met gesimuleerde gesprekken over meerdere beurten, afgestemd op de omstandigheden en communicatiestijlen van echte gebruikers. Ze gebruikten de methode om drie gezondheidschatbots op WhatsApp in India, Zuid-Afrika en Kenia te evalueren. Daarbij vergeleken ze MedGemma met ChatGPT en Claude, aan de hand van meer dan 5.000 gesimuleerde gespreksbeurten.
Volgens het artikel kwamen zowel medisch bijgestelde als algemene modellen soms terug op een juiste inschatting van een noodsituatie nadat een gebruiker de klachten had gebagatelliseerd, zonder nieuwe medische informatie toe te voegen. De auteurs noemen dit het ‘risico op afschaling’; het onderzoek beschrijft gesimuleerde gesprekken en vormt geen bewijs dat deze fouten zich in de patiëntenzorg hebben voorgedaan.
Waarom het ertoe doet
Teams die medische triagechatbots inzetten, kunnen realistische gesprekken simuleren om gevaarlijke veranderingen in het advies op te sporen. Het onderzoek toont echter niet aan hoe vaak zulke fouten in actieve diensten voorkomen.
