GazeRIB:用八位放射科医生的目光训练胸部X光AI——三位读片者就够了,外部增益仍然脆弱

佐治亚理工学院与埃默里大学的团队衡量了:需要多少位放射科医生的目光,才能改善胸部X光AI模型的训练。八位专家在眼动追踪下阅读同样的80张影像,他们注视过的区域被用来在训练时遮蔽图像的其余部分。三位读片者组成的小组即可获得完整小组73%至80%的增益,而任何单一读片者在主要终点上都未达到显著性。增益真实但幅度不大,只在两个外部队列中的一个上迁移成功,而且对照组并不平衡:应将其视为方法学研究,而非可用于临床的工具。

背景

在胸部X光片(CXR)上训练视觉模型需要大量标注图像,而由放射科医生标注既慢又贵。一个老想法是利用医生不费额外力气就能产生的信息:他们看哪里。眼动追踪(eye-tracking)记录阅片时的注视点,这些注视图可以引导模型关注专家认为有信息量的区域。

文献中很少讨论的是需要多少位读片者。放射科医生看片的方式并不相同,由单一注视引导的模型可能继承其习惯,甚至盲区。因此 GazeRIB 研究一个实际问题:需要多少人的注视、来自哪些读片者,才能获得可靠的收益?

方法

八位专家(五位持证放射科医生和三位住院医师,每人至少还有一年培训期)在眼动追踪下阅读同样的80张胸部X光片,每个严重程度类别20张。注视点(持续时间、瞳孔直径、命中比例)被转换为平滑的掩码:未被注视的区域被涂黑。八位读片者共得到5,685张“遮蔽”图像,每位读片者680至720张。所读图像中已排除AI叠加层。

评估任务是在埃默里队列上做四分类严重程度预测(正常、轻度、中度、重度):来自1,366名患者的2,897张正位片,为2020年1月至11月的COVID-19影像(男性48.3%,平均年龄58.5 ± 17.6岁,非裔美国人73.6%)。此处COVID严重程度只是整体肺部浑浊的替代指标,而非该疾病的特异性终点。80张眼动追踪影像与该队列在患者层面互不重叠。

测试了七种在ImageNet上预训练的架构:DenseNet-121、ResNet-18、ResNet-50、EfficientNet-B0、EfficientNet-B1、Vision Transformer(ViT,把图像切成块并用注意力机制处理)和 Swin Transformer,每种都带一个小型分类头(MLP)。训练分两个阶段:(1)按五种小组策略(单个读片者、三位住院医师、五位放射科医生、四位放射科医生加一位住院医师、全部八位)在遮蔽图像上训练整个网络;(2)冻结主干网络,在原始图像上微调新的分类头。无注视基线则冻结预训练主干,只用80张原始图像训练分类头。

划分按患者和严重程度分层(20%验证,80%测试),用10个随机种子重复,共910个模型。检验采用配对双侧 Wilcoxon 检验,对35个策略-指标检验做 Bonferroni 校正,效应量为配对 Cohen's dz。两个外部队列不经重新训练直接使用:SIIM-FISABIO-RSNA(6,054项检查,二分类标签,72.3%异常)和 MIMIC-Eye,即 MIMIC-CXR 的子集(1,938张图像,781张异常,CheXpert标签)。

结果

先看机器学习指标。宏平均F1是四个类别上结合精确率与召回率的分数的平均值;AUC(ROC曲线下面积)衡量区分两个类别的能力(0.5为随机,1为完美)。每个小组相对无注视基线都提高了宏平均F1,幅度为5.33至7.47个百分点(pp)。八位读片者小组的F1提高7.47 pp,AUC提高5.90 pp,AU-PRC提高6.20 pp。单个读片者F1提高1.87 pp,校正后不显著。从一位增加到三位带来3.98 pp的宏平均F1,从三位到八位再增加1.62 pp;三位读片者即可获得完整小组增益的73%至80%。三位住院医师的小组(+5.85 pp)与五位放射科医生(+5.39 pp)或混合小组(+5.33 pp)表现相当。

增益取决于架构:八位读片者时,卷积网络(DenseNet-121、EfficientNet-B0、ResNet-18、ResNet-50)的F1提高10.4至14.8 pp,EfficientNet-B1提高7.8 pp,Swin基本没有变化(+0.06 pp),ViT为负。校准(预测概率与实际频率的吻合程度)得到改善:二分类校准误差从无注视的0.142降到一位读片者的0.116,以及小组的0.069至0.080。

外部验证(不重新训练):在SIIM-FISABIO-RSNA上,八位读片者使AUC从68.8%升至73.0%(+4.24 pp),而单个读片者的平均值几乎不变(+0.03 pp)。在MIMIC-Eye上,没有任何小组与基线有显著差异(八位小组+0.75 pp,p = 0.054),单个读片者的平均值下降1.40 pp(p = 0.008)。内部增益最大的读片者(Rad5)在两个外部队列上都排在八人中的最后一位。

临床换算。该研究没有报告某一阈值下的灵敏度或特异度,因此我们不给出每1,000名患者的假阳性数,那样会是编造的数字。可以说的是:用73.0%的外部AUC识别异常X光片,离可用的筛查水平仍然很远,在这个尺度上4个百分点的提升并不改变模型的性质。作者也没有声称达到最先进水平。

做得好的地方

第一,问题明确,答案被量化:研究不只是证明注视有帮助,而是测量了读片者数量(1、3、5、8)和水平(住院医师、放射科医生、混合)的影响,并给出效应量和多重检验校正。“三位读片者就能获得大部分收益”对想收集此类数据的人直接有用。

第二,验证超出了开发队列:两个标签方案不同的外部数据集,作者如实报告了MIMIC-Eye上的失败以及单个读片者的退化。内部最佳读片者在外部排在最后,这是关于个体注视脆弱性的罕见信息。

第三,局限性清单长而具体,由作者自己撰写,并有公共资金(NSF)、无利益冲突声明,以及使用语言模型进行语言润色的说明。

不足之处

第一,对照组不平衡,属于比较对象有偏的情形。基线只用80张图像训练分类头,而注视组更新整个网络:归因于注视的增益混杂了表征学习带来的增益,作者自己也承认。读片者数量也与遮蔽图像数量混杂:八位读片者同时意味着多得多的训练图像。

第二,注视来源极小,且标签是替代指标:八个人读的80张影像,来自单一医疗系统的2020年COVID-19队列,非裔美国患者比例很高,并以严重程度替代肺部浑浊。这是人群偏倚的风险:没有证据表明结果适用于其他疾病、其他设备或其他国家,也没有按性别、年龄或种族的分析。读片者在四个类别上的分歧也限制了可达到的性能,而transformer的结果(ViT为负、Swin为零)说明该方法依赖于架构。

第三,外部稳健性和可重复性有限。外部分析未做多重检验校正,外部队列是未像主数据集那样精心整理的二分类标签,部分眼动追踪阅片有AI辅助,因此不能排除对注视的残余影响。代码和数据不公开:“合理请求下提供”,需联系最后作者。最后,这是未经同行评审的预印本,没有前瞻性验证,也没有监管状态。

意义

对研究界而言,这篇论文给出了有用的数量级:三位读片者(包括住院医师)即可获得大部分收益,使收集注视数据更现实。它也表明个体注视是脆弱的信号,“专家引导”的方法必须用多位读片者和多个外部队列来评估。还需要用平衡的对照(同样训练整个网络)重做测试,才能分离出注视本身的效果。

对临床医生而言,短期内实践中没有任何变化:这是一种训练模型的方式,而不是可部署的工具。长远来看,已有眼动追踪设备的科室会对此感兴趣,因为注视是日常阅片的副产品。

对患者和公众而言,影响是间接的:降低标注成本可能有助于训练更好的模型,但论文没有证明任何诊疗获益。一个外部队列有增益、另一个没有,提示应保持谨慎。

延伸阅读

预印本:Kittisut N., Gabriel R. M., van Assen M., Zandehshahvar M., De Cecco C. N., Krupinski E. A., Adibi A.,“GazeRIB: Systematic Evaluation of Multi-Reader Gaze-Guided Chest X-ray Learning”,arXiv:2610.42152,arxiv.org/abs/2610.42152。外部数据集:SIIM-FISABIO-RSNA 与 MIMIC-Eye(MIMIC-CXR,PhysioNet)。代码与数据:向最后作者(Ali Adibi)申请。

本篇解读在AI协助下依据预印本文本撰写;论文中没有的计算与解释均已如实标注。