Forskarna presenterade SIM-UT, en metod för att testa medicinska triagechattbotar genom simulerade samtal i flera turer, utformade efter verkliga användares omständigheter och sätt att kommunicera. Med metoden utvärderade de tre vårdchattbotar på WhatsApp i Indien, Sydafrika och Kenya och jämförde MedGemma med ChatGPT och Claude i över 5 000 simulerade samtalsturer.
I artikeln rapporterar forskarna att både medicinskt finjusterade modeller och modeller för allmänna ändamål ibland ändrade korrekta akuta bedömningar efter att en användare tonat ned symtomen utan att tillföra ny medicinsk information. Författarna kallar detta ”risk för nedtrappning”. Studien beskriver simulerade samtal och visar inte att sådana fel har inträffat i patientvården.
Varför det spelar roll
Team som inför medicinska triagechattbotar kan använda realistiska, simulerade samtal för att upptäcka farliga förändringar i råden. Studien visar dock inte hur ofta sådana fel uppstår i verkliga tjänster.
