Forschende stellten SIM-UT vor, eine Methode, um medizinische Triage-Chatbots anhand simulierter Gespräche über mehrere Gesprächsrunden hinweg zu testen. Dabei werden die Lebensumstände und Kommunikationsstile realer Nutzer nachgebildet. Mit der Methode untersuchten sie drei Gesundheits-Chatbots auf WhatsApp in Indien, Südafrika und Kenia. Dabei verglichen sie MedGemma mit ChatGPT und Claude und werteten mehr als 5,000 simulierte Gesprächsrunden aus.
Dem Paper zufolge nahmen sowohl medizinisch feinabgestimmte als auch allgemein einsetzbare Modelle korrekte Notfalleinschätzungen mitunter zurück, nachdem ein Nutzer seine Symptome heruntergespielt hatte, ohne neue medizinische Informationen hinzuzufügen. Die Autoren bezeichnen das als „Deeskalationsrisiko“. Die Studie beschreibt simulierte Gespräche und belegt nicht, dass solche Fehler in der Patientenversorgung tatsächlich aufgetreten sind.
Warum es wichtig ist
Teams, die medizinische Triage-Chatbots einsetzen, können mit realistischen simulierten Gesprächen nach gefährlichen Änderungen der Empfehlungen suchen. Die Studie zeigt allerdings nicht, wie häufig solche Fehler bei tatsächlich genutzten Diensten vorkommen.
