Onderzoek: LLM’s passen nieuwe medische richtlijnen vaak niet goed toe

Een nieuw artikel op arXiv, gepubliceerd op 23 October 2026, onderzoekt hoe goed grote taalmodellen (LLM’s – de AI achter hulpmiddelen als ChatGPT) veranderingen in medische richtlijnen bijhouden. De auteurs stelden een testset samen, ChronoEvo, met 1,709 specifieke richtlijnwijzigingen op 12 gebieden waarop medische kennis kan veranderen. Ze vroegen 14 verschillende LLM’s om klinische vragen te beantwoorden aan de hand van de bijgewerkte richtlijnen.

Wat uit de tests bleek

Het belangrijkste model in het onderzoek herkende in 90.8% van de gevallen dat een richtlijn was herzien en gaf in 80.2% van de gevallen een klinisch correct antwoord. Toch verwerkte het de nieuwe aanbeveling maar in 58.5% van de antwoorden volledig. Dat is een verschil van 32.3 procentpunt tussen een wijziging herkennen en de nieuwe richtlijn daadwerkelijk toepassen. Dat verschil was ook zichtbaar bij de andere 13 geteste modellen. Twee artsen beoordeelden ook 300 antwoorden van de modellen en constateerden een vergelijkbaar tekort: een verschil van 40.3 procentpunt tussen het herkennen van wijzigingen en het volledig toepassen ervan. Volgens het onderzoek is de kans extra groot dat verouderd advies in het antwoord blijft staan wanneer een wijziging de kracht van een aanbeveling verandert of bepaalt welke patiënten ervoor in aanmerking komen. De auteurs probeerden een aanpassing die ze ‘revision-salience’ noemen en waarbij het gewijzigde deel van een richtlijn extra wordt benadrukt. Daardoor hield het model minder oude informatie vast en nam de algehele klinische juistheid toe, maar het verschil in de volledige toepassing van nieuwe richtlijnen verdween niet.

Waarom dit belangrijk is

Voor artsen of patiënten die op AI vertrouwen voor medisch advies, betekent dit dat zelfs actuele modellen nog verouderde behandelingen kunnen aanbevelen. Gebruikers moeten aanbevelingen van AI controleren aan de hand van de meest recente officiële richtlijnen.