Araştırma: LLM’ler Güncel Tıbbi Kılavuzları Uygulamakta Zorlanıyor

23 Ekim 2026’da yayımlanan yeni bir arXiv makalesi, büyük dil modellerinin (LLM’ler — ChatGPT gibi araçların arkasındaki yapay zekâ türü) değişen tıbbi kılavuzları ne ölçüde takip ettiğini inceliyor. Makalenin yazarları, 12 tür tıbbi bilgi değişikliğini kapsayan 1.709 somut kılavuz revizyonundan oluşan ChronoEvo adlı bir test seti hazırladı. Güncellenmiş kılavuzlara dayanarak klinik soruları yanıtlamaları için 14 farklı LLM’yi test ettiler.

Testler ne gösterdi?

Araştırmada öne çıkan model, kılavuzun vakaların %90,8’inde güncellendiğini fark etti ve vakaların %80,2’sinde klinik açıdan doğru yanıt verdi. Ancak yanıtlarının yalnızca %58,5’i yeni öneriyi bütünüyle içeriyordu. Bu, bir değişikliği fark etmekle yeni kılavuzu gerçekten uygulamak arasında 32,3 yüzde puanlık bir fark olduğu anlamına geliyor. Test edilen diğer 13 modelde de benzer bir fark görüldü. İki klinisyen de modellerin 300 yanıtını inceledi ve benzer bir eksiklik tespit etti: revizyonları fark etmekle bunları bütünüyle uygulamak arasında 40,3 yüzde puanlık fark vardı. Araştırmaya göre, önerinin gücünü ya da hangi hastaların öneriden yararlanabileceğini değiştiren güncellemelerin, modelin yanıtında eski tavsiyelerin kalmasına yol açma olasılığı özellikle yüksek. Yazarlar, kılavuzun güncellenen bölümünü öne çıkaran “revizyon belirginliği” adlı bir düzenlemeyi denedi. Bu yöntem, modelin eski bilgileri yanıtta tutma oranını düşürdü ve klinik açıdan genel doğruluğu artırdı; ancak yeni kılavuzun bütünüyle uygulanması konusundaki açığı kapatmadı.

Neden önemli?

Tıbbi tavsiye almak için yapay zekâya başvurabilecek doktorlar veya hastalar açısından bu bulgu, güncel modellerin bile hâlâ eski tedavileri önerebileceği anlamına geliyor. Kullanıcılar, yapay zekânın ürettiği tıbbi önerileri yürürlükteki resmî kılavuzlarla karşılaştırarak doğrulamalı.