# Studie: LLMs wenden neue medizinische Leitlinien oft nicht an

> Forschende zeigen: Sprachmodelle erkennen neue medizinische Empfehlungen, setzen sie aber häufig nicht richtig um.

Oossa · 2026-10-23 · https://oossa.com/de/study-finds-llms-often-miss-updated-medical-guidelines

Ein neues, am 23. Oktober 2026 auf arXiv veröffentlichtes Paper untersucht, wie gut große Sprachmodelle (LLMs – die Art von KI, die hinter Tools wie ChatGPT steckt) mit Änderungen medizinischer Leitlinien Schritt halten. Die Autorinnen und Autoren erstellten einen Testsatz namens ChronoEvo mit 1,709 konkreten Leitlinienänderungen aus 12 Bereichen, in denen sich medizinisches Wissen verändert. Sie baten 14 verschiedene LLMs, klinische Fragen auf Grundlage der aktualisierten Empfehlungen zu beantworten.

## Was die Tests ergaben

Das Hauptmodell der Studie erkannte in 90.8% der Fälle, dass eine Leitlinie überarbeitet worden war, und gab in 80.2% der Fälle eine klinisch korrekte Antwort. Doch nur 58.5% seiner Antworten berücksichtigten die neue Empfehlung vollständig. Zwischen dem Erkennen einer Änderung und der tatsächlichen Anwendung der neuen Leitlinie klaffte somit eine Lücke von 32.3 Prozentpunkten. Dieselbe Lücke zeigte sich bei den anderen 13 getesteten Modellen.

Auch zwei Ärztinnen und Ärzte überprüften 300 Modellantworten und stellten ein ähnliches Defizit fest: Zwischen dem Erkennen von Änderungen und ihrer vollständigen Umsetzung lag eine Lücke von 40.3 Prozentpunkten. Laut Studie werden Änderungen besonders häufig in den Antworten nicht berücksichtigt, wenn sie die Stärke einer Empfehlung oder den Kreis der infrage kommenden Patientinnen und Patienten betreffen.

Die Autorinnen und Autoren testeten eine Anpassung namens „Revision-Salience“, bei der der aktualisierte Teil einer Leitlinie hervorgehoben wird. Dadurch übernahm das Modell weniger veraltete Informationen, und die klinische Korrektheit insgesamt verbesserte sich. Die Lücke bei der vollständigen Umsetzung der neuen Empfehlungen wurde dadurch jedoch nicht geschlossen.

## Warum das wichtig ist

Für Ärztinnen, Ärzte und Patientinnen oder Patienten, die sich möglicherweise auf KI bei medizinischen Fragen verlassen, bedeutet das: Selbst aktuelle Modelle können weiterhin veraltete Behandlungen empfehlen. KI-generierte medizinische Empfehlungen sollten anhand aktueller offizieller Leitlinien überprüft werden.

## Die Fakten

- Das Paper wurde am 23. Oktober 2026 auf arXiv veröffentlicht.
- ChronoEvo umfasst 1,709 Leitlinienänderungen aus 12 Bereichen, in denen sich medizinisches Wissen verändert.
- Das Hauptmodell erkannte Änderungen in 90.8% der Fälle und lag in 80.2% der Fälle klinisch richtig, berücksichtigte die Leitlinien jedoch nur in 58.5% der Fälle vollständig.
- Bei allen 14 Modellen blieb eine Lücke von etwa 32 Prozentpunkten zwischen dem Erkennen und dem Umsetzen von Änderungen bestehen.
- Bei der Prüfung von 300 Antworten durch medizinisches Fachpersonal zeigte sich in der Stichprobe eine Lücke von 40.3 Prozentpunkten.

## Warum es wichtig ist

Ärztinnen, Ärzte und Patientinnen oder Patienten, die KI-Tools nutzen, können durch Empfehlungen in die Irre geführt werden, die aktuell wirken, aber weiterhin auf veralteten Leitlinien beruhen. Die Studie zeigt, dass KI-Entwickler bessere Wege finden müssen, damit Modelle Aktualisierungen nicht nur erkennen, sondern auch richtig umsetzen.

## Quellen und Referenzen

1. [Large language models show systematic failures in incorporating evolving medical knowledge](https://arxiv.org/abs/2610.30631) – arXiv, 2026-10-23

Zuletzt aktualisiert: 2026-10-23