胸部X光:一张"看似合理"的显著性图能在新医院提示模型错误吗?不能,模型自身的置信度更有效

新加坡南洋理工大学的团队检验:显著性图(saliency map,即显示在预测旁边、用来说明"模型在看哪里"的热力图)能否在模型转到新医院时,帮助发现单个预测的错误。在三个站点上评估的两个胸部X光模型中,热力图在胸部的集中程度无法区分正确与错误的警报,而模型自身的置信度仍是最好的信号,尽管作用有限。因此,一张看起来正确的热力图不应让任何人对某条警报的正确性放心。

背景

在大型医院数据库上训练的神经网络,只要在同一批医院的数据上测试,读胸部X光片的水平接近放射科医生。换到别处,它们常常失灵,部分原因是学到了站点特有的捷径(设备类型、患者体位、标记),而不是疾病本身,这就是"捷径学习"(shortcut learning)。许多错误是无声的:错误的输出看上去并不比正确的输出更没把握。

应对这种不透明性的常规办法是显著性图,它把对决策影响最大的图像区域着色。关于可信医疗AI的国际指南(FUTURE-AI)把可解释性列为六项原则之一。但以往研究多是问热力图"看上去对不对",而不是它能否帮助发现某个具体决策是错的。这正是Chapagai、Gurtatta和Cambria提出的失败检测(failure detection)问题:在没有标签的情况下,是否存在一个信号表明某个预测很可能出错,热力图能否提供比模型置信度更好的信号?

方法

作者在NIH ChestX-ray14(112,120张正位X光片,30,805名患者,14种征象,标签由报告自动提取)上训练了两个分类器:DenseNet-121是经典的卷积网络;ViT-B/16是视觉Transformer(vision transformer),把图像切成16像素的方块,用注意力机制处理。测试使用来自三个站点的25,554张X光片:NIH内部测试集(21,834张,6,161名患者)、来自CheXpert的斯坦福X光片(720张,700名患者,3至5名放射科医生共识)以及河内两家医院的VinDr-CXR测试集(3,000张正位片,5名放射科医生共识)。三套标签统一出12种征象,每个模型共303,768个决策(一个决策=一张X光片加一种征象)。

当模型输出超过在NIH上调好的阈值时触发警报。测试的三种解释方法是Grad-CAM(由最后一层梯度构成的图)、LIME(通过扰动图像拟合的局部线性模型)和SHAP(受博弈论启发的特征重要性)。每个解释被概括为一个数,即"解剖富集度":落在胸部区域(肺、心脏和肋膈角,用HybridGNet自动分割)内的归因占比,除以该区域占图像的比例。均匀归因的值为1。

研究事先设定了三个假设。H1:在新医院,解释在胸部的集中度更低。H2:假阳性的解释比真阳性的解释集中度更低。H3:把富集度加到置信度上,可改善训练站点之外的错误检测。主要指标是AUROCf,即区分正确与错误决策的ROC曲线下面积:0.5表示该分数不含信息。

结果

机器学习指标:两个模型的内部宏平均AUROC分别为0.847(DenseNet-121)和0.837(ViT-B/16)。排序能力基本可以迁移:在与CheXpert共有的八种征象上,DenseNet-121的宏平均AUROC从0.857降到0.824;在VinDr-CXR上升到0.893,作者认为这是因为标签更干净。阈值则无法迁移:在CheXpert上,DenseNet-121对肺水肿的敏感度从0.424跌到0.008,ViT-B/16则一例也没检出。

热力图很少指向放射科医生所指的位置。在520个有放射科医生基准的CheXpert征象上,Grad-CAM峰值落入参考区域的比例,DenseNet-121为0.575,ViT-B/16为0.381,而放射科医生为0.888。就错误检测而言,富集度在NIH的AUROCf为0.484(DenseNet-121)和0.524(ViT-B/16),而决策边际(即置信度)为0.646和0.660。在NIH之外它接近随机,唯一例外是VinDr-CXR上的DenseNet-121(0.618,仍低于边际的0.685)。把富集度加到置信度上,AUROCf增益从未超过0.011;在VinDr-CXR上反而使DenseNet-121变差(−0.0233)。H3未获支持;H2仅极小部分成立;H1对DenseNet-121在各征象内成立,但对ViT-B/16方向不一。

临床换算:在VinDr-CXR上,DenseNet-121有56.6%的警报是错的。保留置信度最高的一半,该比例降到42.1%;保留热力图最集中的一半,则为50.3%。在NIH上,按富集度筛选甚至不如不筛选(64.8%对63.6%)。视站点和模型而定,47%至66%的警报是错误的。

优点

第一,外部评估的规模与严谨:每个模型303,768个决策,两个国家,两种架构,三种解释方法,两个外部站点均为五名放射科医生共识标签,并在分析前声明假设,限制了"挑结果"的空间。事后增加的分析被明确标注为探索性。

第二,对照检验:两个网络都通过了权重随机化检验(Adebayo等人),胸部掩膜与CheXmask对照验证(Dice为0.995至0.998),而且零结果有界:对于部署前校准的检测器,排除了超过0.011的AUROCf增益。有量化的阴性结果,胜过一句"没有效果"。

第三,透明度:代码采用MIT许可,存档于Zenodo,未声明利益冲突,数据为公开数据(NIH、CheXpert、PhysioNet),并遵循CLAIM清单。作者还指出了Grad-CAM与全局池化网络类别分数之间的数学恒等式:热力图并不是对决策的独立测量。

不足

第一,标签噪声:NIH标签由报告提取,因此部分内部"假警报"很可能是标注遗漏的真实征象。这是标签与指标偏差,使NIH的数字(约64%的警报为错)模糊不清,尽管两个外部站点更干净。

第二,人群与病例构成偏差:若干外部征象阳性数很少(CheXpert的肺部病灶为10例、气胸为16例),单个征象的置信区间宽约0.2;VinDr-CXR只含后前位(PA)正位片,而NIH近五分之二是前后位(AP)。作者承认,NIH与河内之间"合理性与正确性关系"的反转部分源于病例构成,确切原因尚未确定。

第三,范围有限:只用了一种解释概括(空间集中度),没有针对Transformer的归因方法,每个站点的LIME和SHAP最多只在500张X光片上计算,最重要的是没有读片者研究。论文没有说明放射科医生实际如何使用热力图,只说明热力图不是可靠的自动错误检测器。研究为回顾性,且仅在单一医院训练,部署后的系统可能表现不同。

意义

对研究界:提供了可复用的方案(预先设定假设、无增益上界、多站点评估),可用来检验其他可解释性承诺,包括作者提到的自然语言解释这一方向。

对临床医生和部署团队:使用前应在本地样本上重新调整阈值(NIH阈值在斯坦福漏掉了几乎所有肺水肿),并以模型置信度作为监测基础,它的信号虽有限(AUROCf为0.61至0.69),却是本研究中最可靠的。不应把"解剖上合理"的热力图当作保证。

对患者和公众:展示出来的可解释性不等于可靠性。这些结果并不否定AI在放射学中的应用,而是提醒人们要求经过测量的安全措施,而不是让人安心的图像。

延伸阅读

论文:arXiv 2611.05011(DOI 10.48550/arXiv.2611.05011)。代码:GitHub,MIT许可,已存档于Zenodo。数据:NIH ChestX-ray14、CheXpert/CheXlocalize、VinDr-CXR和CheXmask(PhysioNet,需签署数据使用协议)。

编辑透明度说明:本文由Tatakoto自动化编辑流程根据预印本的完整PDF生成;补充的Extended Data表格未作详细审阅。英文、西班牙文和中文版本由AI生成。发现错误?请联系我们。