BrainGFM:面向脑成像的生成式基础模型,在4,796名卒中患者上验证——收益明确,但读片者研究需谨慎解读

东南大学、凯斯西储大学和南京三家医院的团队提出了BrainGFM:一个在约130万张脑部MRI和CT切片上预训练的生成式模型,随后适配到48项任务,并在六个中心完成三项卒中任务的验证。该模型在病灶分割、亚型分类和图像合成上明显优于对比模型,外部中心也是如此。作为预印本,结果扎实,但读片者研究显示获益因放射科医生而差异很大,且论文没有说明代码和资助情况。

背景

在脑成像领域,任务越来越多(分割肿瘤、发现出血、识别MRI序列、增强退化图像),而有标注的数据仍然稀缺且异质。针对大脑已有基础模型(foundation model,即不依赖具体标签预训练、再用于许多任务的大模型)被提出,例如MedSAM(通用分割)或BrainIAC。作者认为它们的局限在于:知识被锁在某个模型的权重和架构里,难以迁移到其他网络。

BrainGFM走了另一条路:用一个生成式模型充当可复用的“图像先验”。当缺少标签时,它可以生成合成图像来训练其他模型,也可以经微调用于重建图像(例如把低剂量CT变成质量更好的图像)。

方法

预训练分为两步。第一步是tokenizer(把图像转换为离散token序列的模块,类似文本):多尺度向量量化类型,码本4,096项,潜变量32维,从1×1到16×16共十个尺度,图像和分割掩码共用。第二步是“下一尺度”自回归Transformer,由粗到细预测token,条件为一个类别(T1、T2、增强T1、FLAIR、弥散DWI、CT、未知序列或掩码)。两个阶段都从自然图像上训练的权重初始化,再适配到大脑。

数据集命名为BrainGFM-1.3M,汇集11个资源(ADNI、FOMO-60K、ABIDE II、TCGA、TCIA、IBSR18、MSD Brain、BraTS2021、CQ500、RSNA Intracranial Hemorrhage、TopBrain):64,754个3D体积(63,745个MRI,1,009个CT),共1,295,080张轴位切片,每个体积取20张。图像经去颅骨、归一化并填充到256 × 256。一部分数据不参与预训练,留作评估。

适配具体任务时,基础权重被冻结,并加入LoRA(低秩适配:少量额外参数,这里秩为8)。对于分割和分类,模型先生成带掩码或类别的合成图像,再用它们训练常规网络。对于图像增强,则以源图像为条件进行后训练。

临床验证涉及4,796名卒中患者:两个内部中心(金陵医院和南京市第一医院)和四个外部中心(南京江宁医院、无锡市人民医院、苏北人民医院、常州市第二人民医院)。三项任务:病灶分割;缺血性卒中五分类亚型判定(TOAST分型,按机制分为大动脉、心源性栓塞、小血管等),输入为弥散图像、ADC和预测掩码;以及由弥散图像合成FLAIR图像。训练每项任务使用200个内部病例,分割和亚型判定还测试了60例的低数据设置。

结果

在48项任务上,分割的平均Dice(Dice衡量预测病灶与参考病灶的重叠程度:100%为完全一致)为72.4%,而少量数据训练的UNet为54.4%,MedSAM为70.0%,全量数据训练的UNet为71.4%。分类的平均AUC(ROC曲线下面积:0.5为随机,1为完美)为94.0%(少量数据的ResNet50为89.4%,全量数据的ResNet50为94.5%)。图像增强方面,20项任务的平均PSNR(重建信噪比,单位dB,越高越好)为37.8 dB。

卒中任务的机器学习指标:病灶分割Dice内部为78.1%、外部为76.9%(MedSAM为72.0和70.3;全量数据UNet为69.3和65.1)。TOAST亚型判定AUC内部为87.4%、外部为84.5%(最佳对比模型MAE为82.5和79.6)。DWI到FLAIR的合成PSNR内部为26.63 dB、外部为26.90 dB,而MAE为25.34和24.52。四个外部中心的数字与内部接近,是最有说服力的结果。

针对合成图像的读片者研究:三位放射科医生用五分李克特量表给60个病例评分。总体诊断质量:BrainGFM生成的FLAIR为3.51,真实采集的FLAIR为3.57,两个生成式对比模型为2.87和2.76。但在五项标准均达到4分及以上的严格阈值下,BrainGFM病例只有15.6%达标,而采集图像为51.1%;在3分及以上时,则是81.7%对72.2%,这令人意外,文中没有给出解释。

辅助研究:在300名患者中,三位放射科医生根据弥散图像和临床数据判定亚型(大动脉、心源性栓塞、小血管),一天以上之后在看到BrainGFM预测的情况下重新读片。模型单独的准确率为79.7%。放射科医生的平均准确率从55.6%升至63.4%(相对提高14.0%,即提高7.8个百分点)。临床换算(根据这些百分比由我们自行计算):每1,000名患者,无辅助时约444例亚型判定错误,有辅助时约366例,少78例错误;模型单独则约203例。效果很不均衡:放射科医生2从53.0%升至75.0%,医生1从57.3%降至56.0%,医生3从56.4%升至59.2%。医生2纠正了初始102个错误中的80个,但也把22个原本正确的答案中的15个改成了错误。

做得好的地方

第一,验证超出了开发中心:四个外部中心,共4,796名患者,分割的外部表现接近内部(Dice 76.9%对78.1%)。这正是许多影像模型所缺少的。

第二,对比模型种类多,且包含较新的模型:MedSAM、BrainIAC、MAE、CAR、生成式模型(Flow Matching、CycleGAN、RegGAN、扩散模型)以及用全量数据训练的网络。用少量病例适配的模型甚至超过了全量数据训练的UNet(内部Dice 69.3%)。

第三,作者在人类身上测量了辅助的效果,两次读片间隔超过一天,并报告了反面:对错误预测的接受率因读片者而异,从41%到82%。很少有影像AI研究公布这一点。

不足之处

第一,存在人群和中心偏倚的风险。六个验证中心都在中国江苏省,而预训练数据来自主要是西方的公开数据集。论文没有说明模型在其他人群、其他MRI设备或其他国家的表现。在所查阅的文本中没有按性别或年龄报告结果。

第二,指标和读片方案容易引起误解。图像质量被判断为接近采集图像,并不是诊断证据:在60个病例、3位读片者的严格阈值下,生成图像仍明显落后(15.6%对51.1%)。合成的FLAIR可能看起来合理,却凭空制造或抹去病灶(幻觉),这是生成式模型特有的失效模式。作者承认,可互换性需要前瞻性验证。

第三,辅助研究只有三位读片者,反应截然相反:一位提高22个百分点,另一位下降1.3个百分点。接受90%建议的读片者(医生2)同时也是把正确答案改成错误的人:这是自动化偏倚,而不是已被证明的获益。作者自己把按信心分层的分析称为探索性分析。此外还有作者承认的局限:主要是二维轴位建模,以及合成图像增加到1,000至3,000张之间时增益趋于平稳。所查阅的arXiv页面没有说明代码仓库、权重、资助或利益冲突;论文的许可证为CC BY-NC-SA 4.0。这不是经同行评审的论文,也没有报告前瞻性验证。

意义

对研究界而言,可复用的生成式先验能生成数据来训练其他模型,在缺乏标注时是一条有意思的路径。它需要其他团队来检验,而这要求代码和权重公开。合成图像在1,000至3,000张之间出现的平台期也表明,这种方法无法取代真实数据的多样性。

对临床医生而言,目前没有任何变化:这是研究原型,未提及CE标志或FDA批准。中期来看,缺血性卒中亚型判定的辅助是最有说服力的结果,但其效果取决于读片者,需要前瞻性试验才能知道这一增益能否经受真实临床实践的考验,以及人们在AI出错时仍倾向于跟随它的问题。

对患者和公众而言,影响是间接的:用更少标注训练的更好模型可能扩大影像工具的可及性,但论文没有证明对诊疗有任何益处。

延伸阅读

预印本:He Y., Wen X., Lan H., Liu C., Liu Y., Xi Y., Yu W., Kong J., Zhang Z., Jiang L., Ge R., Chen Y. 以及 Multi-Center Cooperative Clinical Study Group for “Lesion-Phenotype Brain Mapping in Acute Stroke”,“A generative foundation model for computational brain imaging”,arXiv:2611.00265,arxiv.org/abs/2611.00265。预训练数据集包括ADNI、BraTS2021、CQ500、RSNA Intracranial Hemorrhage等。代码与权重:所查阅的arXiv页面未说明。

本篇解读在AI协助下依据预印本文本撰写;论文中没有的计算均已如实标注,英文、西班牙文和中文版本均由AI生成。