# Estudo mostra que LLMs frequentemente ignoram diretrizes médicas atualizadas

> Pesquisadores mostram que grandes modelos de linguagem reconhecem novas orientações médicas, mas muitas vezes não conseguem aplicá-las corretamente.

Oossa · 2026-10-23 · https://oossa.com/pt/study-finds-llms-often-miss-updated-medical-guidelines

Um novo artigo publicado no arXiv em 23 October 2026 analisa até que ponto grandes modelos de linguagem (LLMs, o tipo de IA por trás de ferramentas como o ChatGPT) acompanham as mudanças nas diretrizes médicas. Os autores criaram um conjunto de testes chamado ChronoEvo, com 1,709 revisões específicas de diretrizes em 12 tipos de mudanças no conhecimento médico. Eles pediram a 14 LLMs diferentes que respondessem a perguntas clínicas com base nas orientações atualizadas.

## O que os testes revelaram

O principal modelo do estudo reconheceu que uma diretriz havia sido revisada em 90.8% dos casos e deu uma resposta clinicamente correta em 80.2% deles. No entanto, apenas 58.5% das respostas incorporaram plenamente a nova recomendação. Isso representa uma diferença de 32.3 pontos percentuais entre reconhecer uma mudança e de fato aplicar a nova orientação. A mesma diferença apareceu nos outros 13 modelos testados.

Dois médicos também analisaram 300 respostas dos modelos e encontraram uma lacuna semelhante: uma diferença de 40.3 pontos percentuais entre reconhecer as revisões e aplicá-las plenamente. O estudo observa que mudanças na força de uma recomendação ou nos critérios de elegibilidade dos pacientes têm maior probabilidade de fazer com que o modelo mantenha orientações desatualizadas na resposta.

Os autores testaram um ajuste de “destaque da revisão”, que chama atenção para o trecho atualizado de uma diretriz. A medida reduziu a quantidade de informações antigas mantidas pelo modelo e melhorou a correção clínica geral, mas não eliminou a lacuna na incorporação plena das novas orientações.

## Por que isso importa

Para médicos ou pacientes que possam recorrer à IA em busca de orientação médica, o resultado significa que até modelos atualizados ainda podem sugerir tratamentos desatualizados. Os usuários devem conferir as recomendações médicas geradas por IA com as diretrizes oficiais em vigor.

## Os fatos

- O artigo foi publicado no arXiv em 23 October 2026.
- O ChronoEvo contém 1,709 revisões de diretrizes, distribuídas por 12 tipos de mudanças no conhecimento médico.
- O principal modelo reconheceu revisões em 90.8% dos casos e teve precisão clínica de 80.2%, mas incorporou plenamente as orientações em apenas 58.5% das vezes.
- Nos 14 modelos, persistiu uma diferença de cerca de 32 pontos percentuais entre reconhecer e incorporar as mudanças.
- A análise clínica de 300 respostas encontrou uma diferença de 40.3 pontos percentuais na amostra avaliada.

## Por que importa

Médicos e pacientes que usam ferramentas de IA podem ser induzidos ao erro por recomendações que parecem atuais, mas ainda refletem diretrizes antigas. O estudo mostra que os desenvolvedores de IA precisam encontrar maneiras melhores de garantir que os modelos não apenas percebam as atualizações, mas também as apliquem corretamente.

## Fontes e referências

1. [Large language models show systematic failures in incorporating evolving medical knowledge](https://arxiv.org/abs/2610.30631) – arXiv, 2026-10-23

Última atualização: 2026-10-23