三分钟视频对抗假阳性悖论:34 名放射科医师,对 AI 误报的接受率减半

来自十个国家的 34 名放射科医师被随机分为两组,随后阅读同样的 20 例脑部磁共振血管成像,每例都带有一处由商用软件生成的动脉瘤标记——其中 18 处是假阳性。观看过三分钟假阳性悖论视频的一组接受了 12.7 % 的误报,对照组为 22.5 %;建议进行随访检查的比例为 39.2 %,对照组为 54.9 %。但这篇论文最说明问题的数字在别处:在任何阅片之前,34 名参与者平均估计 AI 标记对应真实动脉瘤的概率为 62.9 %,而依据已发表性能指标所做的模拟给出的是 15.4 %。

背景

一项诊断检验可以非常出色,却在说"是"的时候大多数情况下都错。这就是假阳性悖论:在疾病罕见的人群中,即使敏感性(被正确检出的患病比例)和特异性(被正确排除的非患病比例)都很高,产生的误报仍会多于真报。此时真正重要的量既不是前者也不是后者,而是阳性预测值(PPV):在所有被标记的病例中,有多大比例确实为阳性。PPV 取决于患病率,而不仅仅取决于模型。

这是基础率忽视(base-rate neglect)的一个特例——这种认知偏差表现为只关注个案信息而忽略事件的总体频率。落到 AI 辅助放射学上,它助长了自动化偏差,即过度顺从算法输出的倾向,此现象在经验较少的阅片者中记录得尤其充分。作者引用了一个具体先例:某急诊科用于检测大血管闭塞的 AI 工具因产生"过多"假阳性而被停用,尽管其敏感性为 100 %、特异性为 92 %;真正的原因是 4 % 的患病率。

迄今为止,关于信任校准的文献主要在机器一侧发力:可解释性、不确定性量化、更好的输出呈现方式。人这一侧——培训阅片者,在偏差发生作用之前将其化解——一直处于边缘。时间飞跃法磁共振血管成像(TOF-MRA,一种无需注射造影剂即可显示流动血液的序列)上的颅内动脉瘤,是检验这条路径的理想场景:成人患病率约为 3.2 %,病灶细小、多为偶然发现,且经常被正常变异所模仿——血管袢、漏斗部、穿支动脉。

方法

研究设计。前瞻性、多国参与的随机对照阅片研究,已在德国临床试验注册中心预注册(DRKS00038740,2025 年 12 月 16 日注册),经慕尼黑工业大学伦理委员会批准,豁免患者知情同意,阅片者提供电子知情同意。入组时间为 2025 年 12 月至 2026 年 5 月。

阅片者。来自十个国家的 34 名放射科医师,通过本地科室、作者的专业网络以及欧洲神经放射学会招募。入选标准:至少六个月的脑部 MRI 阅片经验。按级别分布:住院医师 16 名,专科培训医师或普通放射科医师 8 名,取得资质的神经放射科医师 10 名。按经验层级分层的 1:1 随机化,在阅片开始时由自动脚本分配——对照组 17 名,干预组 17 名,两组经验分布完全一致。随机化后无人退出。人群以男性(26/34)、德国执业(23/34)和学术机构(29/34)为主;平均从业年限对照组 8.2 ± 8.8 年,干预组 6.7 ± 4.8 年。

干预措施。一段三分钟的视频,即一份带旁白的幻灯片,仅由干预组在阅片前观看。视频回顾了当前 AI 动脉瘤检测工具已发表的性能指标,将假阳性悖论解释为患病率导致的诊断准确度与预测值之间的落差,并给出现实的 PPV 区间。视频中不含本研究的任何病例,也未提供针对具体病例的训练。对照组直接进入阅片环节,没有任何引导材料。该视频已公开。

病例。20 例匿名化的三维 TOF-MRA,采集于 2021 至 2023 年间某门诊放射诊所,该诊所在常规工作中使用一款商用动脉瘤检测软件(mdbrain 第 4 版,mediaire GmbH,柏林)。每次检查恰好带有一处 AI 标记,平均直径 2.2 ± 1.2 毫米。该数据集被刻意抽样以达到 10 % 的 PPV:2 例真阳性,18 例假阳性。假阳性分别对应血管袢(7/18)、漏斗部(3/18)和穿支动脉(3/18)。数据集中不含任何 AI 假阴性。20 例中有 12 例来自同一团队此前的研究。阅片者对数据集构成不知情,也未获得逐例反馈。

阅片流程。在任何阅片之前——对干预组而言是在观看视频之前——每位阅片者在一个以 20 % 为一档的五点顺序量表上估计 AI 动脉瘤检测工具的 PPV。随后,对随机顺序呈现的 20 例病例,阅片者依次查看 AI 标注序列和未标注序列,然后记录(1)在四点量表上判断真实动脉瘤的可能性,从"已排除"到"确定";(2)在三种处置中选择其一:不随访、MRI 复查,或数字减影血管造影(DSA,一项侵入性检查)。两组的所有阅片均在 AI 辅助下完成;作者为减轻参与者负担,有意省略了无辅助的基线阅片。

终点与分析。两项预先设定的主要终点:假阳性接受率,以及随访强度(顺序量表:不随访 < MRI < DSA)。采用以阅片者和病例为交叉随机效应的混合模型——接受率用广义线性混合模型,评分与随访用累积链接混合模型,以组别和从业年限为固定效应。未做事前样本量估算——因为没有可比的效应量可用——未做多重比较校正,采用单侧优效性检验,alpha 设为 0.05。作者自己将该设计定性为探索性研究。

参照 PPV。为获得一个比较基准,作者通过蒙特卡洛模拟(200 万次抽样)传播了三个已发表参数的不确定性:动脉瘤患病率 3.2 %[1.9–5.2],以及来自一项荟萃分析的敏感性 91.2 %[82.2–95.8]与特异性 83.5 %[72.9–90.6]。

结果

起点上的落差。模拟给出的 PPV 为 15.4 %[8.1–28.0]——大约每六处标记中有一处对应真实动脉瘤。而阅片者的平均估计为 62.9 %(对照组 65.3 %,干预组 60.6 %)。34 人中有 23 人(67.6 %)把 PPV 定在 60 % 以上,7 人(20.6 %)定在 80 % 以上,只有 2 人(5.9 %)低于 20 %。这是一批以此为职业的专业人士出现的四倍量级偏差。

第一项终点:对假阳性的接受。原始数据上,每组各 306 次假阳性阅片(17 名阅片者 × 18 例),干预组判定"可能是动脉瘤"42 次(13.7 %)、"确定"19 次(6.2 %),对照组则分别为 62 次(20.3 %)和 26 次(8.5 %)。在混合模型中,接受概率为 12.7 %[6.0–25.0]对 22.5 %[11.6–39.2],比值比 0.50(95 % 置信上界 0.95;单侧 p = 0.017)。评分的顺序模型方向一致(OR 0.53;p = 0.036)。从业年限不是显著预测因素(p = 0.302),且病例间方差(σ² = 1.49)超过阅片者间方差(σ² = 0.76):病例本身比读它的人更重要。

第二项终点:随访强度。对于假阳性,干预组建议 MRI 复查的比例为 21.9 %(67/306),对照组为 32.0 %(98/306);建议 DSA 的比例为 17.3 %(53/306),对照组为 22.9 %(70/306)——合计建议随访 39.2 %(120/306)对 54.9 %(168/306)。OR 0.47(上界 0.81;单侧 p = 0.014)。此处从业年限同样不具预测性(p = 0.210),差距最大的是普通放射科医师和专科培训医师(绝对差 29 个百分点)。

次要终点。干预组敏感性为 97.1 %(33/34),对照组为 82.4 %(28/34)——但这两个分母是 17 名阅片者 × 2 例真阳性,几乎等于没有。被 AI 标记的发现被判为可能或确定动脉瘤的比例,干预组为 3.2 %(11/340),对照组为 4.7 %(16/340)。干预组对工具的主观质量评分更低(均值 2.5 对 3.2,满分 5),但未达显著性(p = 0.060);在常规工作中使用该工具的意愿两组无差异(p = 0.356)。干预组阅片者认为视频对其诊断判断的影响为中等偏强(中位数 4/5)。

换算成临床情形。设有 1000 名检查带 AI 标记的患者,按 15.4 % 的现实 PPV 计算,其中约 846 处标记是假的。按对照组的行为(54.9 % 建议随访),大约会产生 464 次不必要的复查,其中约 194 次血管造影。按干预组的行为(39.2 %),约 332 次复查,其中约 146 次血管造影。二者之差——每 1000 名被标记患者约减少 130 次检查和 48 次血管造影——属于外推,而非实地测量;它给出的是此事的量级。

做得好的地方

这是一项真正的随机试验,预注册,且干预成本为零。按经验层级分层的 1:1 随机化,由自动脚本完成分配,入组之前完成 DRKS 预注册,主要终点预先设定,随机化后无人退出,采用以阅片者和病例为交叉随机效应的混合模型——也就是说,这套分析承认一组中的 306 次阅片并非 306 个独立观测。在一个以公开基准上的回顾性比较为常态的 AI 医疗文献环境中,这种方法学上的严谨值得点名。

干预完全不触碰模型。不改阈值,不改界面,不做重新训练:三分钟的通用视频,可原样迁移到任何罕见病和任何工具。这是本文可复用的贡献。关于信任校准的绝大部分工作关注的是机器显示什么;这里被操纵的变量是阅片者在打开检查之前知道什么——一个复制成本几乎为零的概念转向。而且视频本身已公开发布。

作者自己拆解了他们最具卖点的结论。他们写明:鉴于真阳性数量,维持不变的敏感性须谨慎解读;对照组可能仅凭反复暴露于假阳性就自行完成了信任重校准,这会使测得的效应相对真实实践被低估;缺少无辅助基线使得无法绝对量化自动化偏差;研究对于视频可能诱发的过度不信任检验效能不足。他们还指出一个反讽效应:同一段改善了校准的视频,降低了对工具的主观质量评价。研究无经费资助,软件制造商未参与研究设计、病例筛选、数据分析或论文撰写,也未在投稿前审阅稿件。

做得不够好的地方

病例集使主要终点几乎唾手可得——同时让代价变得不可见。呈现的标记中有 90 % 是假的。在这一比例下,任何让阅片者更加怀疑的做法都会机械性地改善主要终点:只需移动判断阈值,无需任何区分能力(把真与假分开的能力)上的改进。而这种怀疑的代价将由真阳性来承担,可真阳性只有两例。97.1 % 对 82.4 % 的敏感性建立在每组 34 次阅片、相差一例漏诊之上。一个用 306 个观测衡量收益、用 34 个观测衡量代价的设计,无法就净结果下结论。这正是误导性指标这一失败模式,只不过对象不是模型,而是研究方案。

对照是"什么都没有",而不是另一种干预。对照组未收到任何引导材料。因此所测得的效应,把视频的内容与随之而来的一切混在了一起:启动效应、对任务投入的注意力,尤其是难以排除的需求特征效应——一位刚看完三分钟关于误报的内容、随即进入阅片环节的医师,完全可能猜到别人期待他做什么。作者指出参与者并不知晓研究假设和另一组的存在,但干预组显然对自己的分组并非盲态。一个主动对照——同等时长的正常变异讲解视频,或在界面上直接显示 PPV——本可把机制与包装分离开。正如内置 AI 的腹部超声那个案例,对照的选择在这里决定了一半的结果。

样本量有限、人群狭窄、数据不开放。34 名阅片者中有 23 人在德国(67.6 %)、29 人在学术机构(85.3 %):向社区放射科、其他培训体系或其他 AI 使用文化的推广,既未验证也不成立——这是典型的人群偏倚,只不过发生在被评估的人这一侧。无事前效能计算,单侧检验,无多重性校正,两个主要终点的置信上界分别为 0.95 和 0.81,紧贴 1:两项主要终点在统计上显著,但脆弱。20 例病例中有 12 例来自同一团队此前的研究。最后,阅片者层面的数据和统计代码仅"应作者的合理请求"提供——也就是并不开放。一位作者声明持有 Bonescreen GmbH 股份,并收取过 Bracco 和 Novartis 的讲课费;其余作者无利益声明。

这意味着什么

对研究界。这篇论文移动了干预变量本身。只要工作仍围绕模型显示什么展开——显著性图、置信分数、不确定性区间——就等于假定问题出在信息不足。而这里检验的假设是:问题出在参照框架不足。阅片者本来就掌握敏感性和特异性,却仍在 PPV 上偏差四倍,因为仅凭这两个数字算不出 PPV。自然的后续是一个本研究没有提供的设计:主动对照、按现实患病率而非富集构建的病例集、足以衡量代价的真阳性数量,以及一次延迟测量——三分钟的视频,效果能维持多久?论文没有回答,而对任何打算把它变成培训课程的人来说,这是最重要的问题。

对临床医生。可以立刻拿来用的结论不是那段视频,而是开头那组数字:62.9 % 对 15.4 %。它意味着一名普通放射科医师会把罕见病 AI 标记的可靠性高估四倍,而且没有理由认为这只发生在动脉瘤上——一项针对 38 款获 FDA 批准的放射 AI 设备的横断面分析发现,尽管敏感性和特异性均高于 90 %,多数目标病种的临床预期 PPV 仍低于 50 %。作者给出的两条具体建议是:在模型输出旁显示预测值区间——美国放射学会已提供公开计算器;以及把 AI 用于验前概率更高的人群,而不是对每一次技术上符合条件的检查都触发。其逻辑与重症监护预后评分的校准相同:在与患病率交叉之前,区分能力指标不能说明该采取什么处置。

对患者和公众。主流直觉认为,"准确率 90 %"的医疗 AI 每十次错一次。这篇论文表明,在罕见病上,同一个 AI 在它报警时可能六次错五次——而专业人士自己并不知道这一点。后果不是漏诊,而是相反:复查、重复的磁共振、血管造影、焦虑,全都是为了完全正常的血管袢。这是 AI 医疗中行政性的、制造焦虑的一面,不如误诊那样惊人,却常见得多。同样的机制也解释了为什么乳腺筛查中公布的性能一旦离开基准条件就会下滑。此外还有作者自己承担的那份代价:让放射科医师了解得更清楚,会让他们对那些在高患病率场景中本来有用的工具失去热情。校准过的信任,并不总是更多的信任。

延伸阅读

预印本:A 3-Minute Education on the False Positive Paradox Improves Trust Calibration in AI-Assisted Intracranial Aneurysm Detection: A Multinational Randomized Controlled Reader Study,medRxiv,DOI 10.64898/2026.08.25.26361324,2026 年 8 月 28 日上线。作者:Su Hwan Kim、Bastien Le Guellec、Paula Roßmüller、Severin Schramm 等,末位作者为 Benedikt Wiestler 与 Dennis M. Hedderich——慕尼黑工业大学、里尔大学医院、亚琛工业大学、科隆、雷根斯堡、柏林、布朗大学。预注册研究:DRKS00038740。作为干预使用的三分钟视频公开可访问。所评估的软件为 mdbrain 第 4 版(mediaire GmbH,柏林);制造商未参与本研究。无经费资助。阅片者层面的数据集与统计代码可向通讯作者索取,但未公开发表。