研究人员推出了ORGANIC3D,这是一个用于测试和改进AI模型解读3D CT扫描能力的框架,重点考察模型能否将文字描述的发现与正确的解剖部位对应起来。测试会通过移除器官、替换病灶或改变左右方向来修改扫描图像,从而揭示模型的对应关系是否出错,即便这些模型的分类得分很高。
研究人员表示,他们仅使用公开数据训练的模型,侧别判断准确率达到77%,而早期模型最高为66%。在移除某个器官的测试中,该模型会撤回96–99%与该器官有关的发现;其他模型最多只撤回69%。
为什么重要
对于评估CT扫描AI工具的放射科团队而言,ORGANIC3D提供了测试方法,可判断模型的发现是否依赖相关解剖结构;不过,论文并未说明这些结果在临床应用中的表现。