En ny artikel på arXiv, publicerad 23 oktober 2026, undersöker hur väl stora språkmodeller (LLM:er – den typ av AI som ligger bakom verktyg som ChatGPT) hänger med när medicinska riktlinjer ändras. Forskarna tog fram ett testmaterial kallat ChronoEvo med 1 709 specifika riktlinjeändringar inom 12 typer av förändringar i medicinsk kunskap. De bad 14 olika LLM:er besvara kliniska frågor utifrån de uppdaterade rekommendationerna.
Det visade testerna
Den huvudsakliga modellen i studien kände igen att en riktlinje hade ändrats i 90,8 procent av fallen och gav ett kliniskt korrekt svar i 80,2 procent av fallen. Men bara 58,5 procent av svaren tog fullt ut hänsyn till den nya rekommendationen. Det innebär en skillnad på 32,3 procentenheter mellan att upptäcka en ändring och att faktiskt tillämpa den nya vägledningen. Samma skillnad syntes i de 13 andra testade modellerna. Två läkare granskade också 300 svar från modellerna och fann en liknande brist: en skillnad på 40,3 procentenheter mellan att upptäcka ändringar och att tillämpa dem fullt ut. Studien konstaterar att ändringar som påverkar hur stark en rekommendation är, eller vilka patienter som omfattas, särskilt ofta leder till att modellen ger inaktuella råd. Forskarna testade en justering som de kallade ”revision-salience” och som lyfter fram den uppdaterade delen av en riktlinje. Den minskade mängden gammal information som modellen behöll och förbättrade den kliniska träffsäkerheten överlag, men minskade inte skillnaden när det gäller att fullt ut ta hänsyn till den nya vägledningen.
Därför spelar det roll
För läkare och patienter som kan tänkas förlita sig på AI för medicinska råd innebär resultaten att även uppdaterade modeller fortfarande kan föreslå föråldrade behandlingar. Användare bör kontrollera AI-genererade medicinska rekommendationer mot aktuella officiella riktlinjer.
Varför det spelar roll
Läkare och patienter som använder AI-verktyg kan vilseledas av råd som verkar aktuella men ändå bygger på gamla riktlinjer. Studien visar att AI-utvecklare behöver bättre metoder för att säkerställa att modeller inte bara upptäcker uppdateringar utan också tillämpar dem korrekt.
