Forskare har presenterat ORGANIC3D, ett ramverk för att testa och förbättra om AI-modeller som tolkar 3D-CT-bilder kopplar skriftliga fynd till rätt anatomi. I testerna ändras bilderna genom att organ tas bort, lesioner byts ut eller höger och vänster kastas om. Det blottlägger brister i kopplingen även hos modeller med höga klassificeringsresultat.
Forskarna uppger att deras modell, som enbart tränats på offentliga data, nådde 77% träffsäkerhet när det gäller sida, jämfört med högst 66% för tidigare modeller. När ett organ togs bort drog modellen tillbaka 96–99% av fynden om det organet. Övriga modeller drog tillbaka högst 69%.
Varför det spelar roll
För radiologteam som utvärderar AI för CT-bilder erbjuder ORGANIC3D tester av om en modells fynd faktiskt bygger på relevant anatomi. Artikeln visar dock inte hur resultaten kan omsättas i klinisk användning.