Un nuovo articolo pubblicato su arXiv il 23 October 2026 esamina quanto i modelli linguistici di grandi dimensioni (LLM, la tecnologia alla base di strumenti come ChatGPT) riescano a tenersi al passo con i cambiamenti delle linee guida mediche. Gli autori hanno creato un insieme di test, chiamato ChronoEvo, con 1,709 revisioni specifiche delle linee guida, suddivise in 12 tipi di cambiamento delle conoscenze mediche. Hanno chiesto a 14 diversi LLM di rispondere a domande cliniche sulla base delle indicazioni aggiornate.
Cosa hanno mostrato i test
Il modello principale dello studio ha riconosciuto che una linea guida era stata aggiornata nel 90.8% dei casi e ha fornito una risposta clinicamente corretta nell'80.2% dei casi. Tuttavia, solo il 58.5% delle risposte recepiva pienamente la nuova raccomandazione. La differenza tra riconoscere un cambiamento e applicare davvero le nuove indicazioni è quindi di 32.3 punti percentuali. La stessa discrepanza è emersa anche negli altri 13 modelli testati. Anche due medici hanno esaminato 300 risposte dei modelli, riscontrando una carenza simile: una differenza di 40.3 punti percentuali tra il riconoscimento delle revisioni e la loro piena applicazione. Lo studio osserva che è particolarmente probabile che il modello dia indicazioni non aggiornate quando le modifiche riguardano la forza di una raccomandazione o i pazienti a cui si applica. Gli autori hanno provato una modifica chiamata “salienza della revisione”, che mette in evidenza la parte aggiornata di una linea guida. L'intervento ha ridotto la quantità di informazioni obsolete mantenute dal modello e migliorato la correttezza clinica complessiva, ma non ha colmato il divario nell'applicazione completa delle nuove indicazioni.
Perché è importante
Per i medici o i pazienti che potrebbero affidarsi all'IA per ottenere consigli medici, il risultato significa che anche i modelli aggiornati possono continuare a suggerire trattamenti superati. Gli utenti dovrebbero verificare le raccomandazioni mediche generate dall'IA consultando le linee guida ufficiali più recenti.
Perché conta
Medici e pazienti che usano strumenti di IA potrebbero essere tratti in inganno da consigli che sembrano aggiornati, ma riflettono ancora linee guida superate. Lo studio mostra che chi sviluppa sistemi di IA deve trovare modi migliori per garantire che i modelli non si limitino a notare gli aggiornamenti, ma li applichino correttamente.
