MedPMC：策展医学文献以训练多模态模型——26 项测试平均 AUC 提升 7.1 个百分点，但临床验证仍单薄

一个由耶鲁牵头的团队，通过名为 MedPMC 的五阶段自动化流程，把 610 万篇 PubMed Central 文章转化为 1100 万对高保真医学图文。基于该语料训练的视觉-语言模型 MedPMC-CLIP，在涵盖 11 个专科的 26 项测试上，相较最佳可比模型平均 AUC 提升 7.1 个百分点，且所用图文对不到一半。但唯一在真实患者数据上的评估，仅归结为皮肤科的一项图像检索任务，作者自己也提醒：一切尚未可用于临床。

背景

医学本质上是多模态的：临床医生要综合图像、文本、化验值与病史。基础模型（foundation models，在海量语料上预训练、随后可复用于多种任务的大型网络）本可提供这样的底座，但其研发受制于一处短缺：高质量的大规模医学图像库稀少，因为真实临床数据被隐私、治理与标注成本层层锁住。一个颇具吸引力的替代方案是 PubMed Central（PMC）：它收录了数百万篇文章，其中的图与图注已构成由专家撰写的图文对。

问题在于，文献不是为训练模型而写的。取自 PMC 的数据集有三大弊病。大多数图像并非临床图像（图表、示意图、分子插图——在一个近期语料中高达 80%）。把多个子图并置于同一图注之下的复合图很少被拆分，这会破坏图像与描述它的文本之间的对应。而且这些数据集是静态的：一次性发布后，随着新疾病、新模态、新技术出现而逐渐过时。这一落差滋养了著名的基准到床旁鸿沟（benchmark-to-bedside gap）——在测试集上漂亮的分数，与在患者床旁真实的用处之间的距离。本文由此提出两个问题：能否把文献自动策展为高保真数据，而这种保真度的提升是否转化为更好的模型？

方法

作者从截至 2024 年 6 月可得的 610 万篇 PMC 文章出发，只保留其中 510 万篇采用宽松许可（CC BY 及其变体、CC0）的文章，并明确排除禁止再分发的许可（CC BY-ND、CC BY-NC-ND）。流程串联五个阶段，每一阶段由专门模型负责并单独评估。首先是初筛：一个文本分类器读取图注及文中对该图的引用，在下载图像之前就判断它是否与临床相关——从而节省存储与带宽。接着是复合图检测（发现 310 万张）。再是拆分：一个模型预测每个子面板的边界框；310 万张复合图平均拆成 9.2 个子图，即 2900 万张子图。随后是图注-面板对齐：作者不先切分图注再配对，而是用一个 40 亿参数的 MLLM（multimodal large language model，能「看」图像的语言模型）一次性处理两者——输入整张图、其各面板与完整图注，直接生成子图注列表。数目对不上的样本被剔除，牺牲数量以换取保真：留下 1250 万对子图/子图注。最后一道医学相关性过滤将其收窄到 730 万对。合计，MedPMC 语料共含 1100 万对图文。

在该语料上，作者训练了 MedPMC-CLIP。CLIP（Contrastive Language-Image Pre-training）是一种通过对比学习把图像与描述它的文本在同一空间中拉近的架构——向模型展示正确与错误的配对，让它学会区分。同一视觉编码器随后用于初始化一个 MLLM（沿用 LLaVA-Med 的方案）以完成推理任务。评估分三方面：在 11 个专科的 26 个数据集上做零样本（zero-shot，不为该任务再训练）分类，以 AUC（ROC 曲线下面积：模型把正例排在负例之前的概率）衡量；多模态医学问答（MMMU 与 OmniMedVQA 两项基准）；尤其是一项「临床」任务——在耶鲁纽黑文医疗系统的 10 524 张皮肤科照片上，依据一段对皮损的文字描述，检索出最相似的患者图像（指标为 Recall@5，即正确图像出现在前五名中的比例）。

结果

在策展方面，质量数字很高且经人工核验：五位标注者（其中三位有医学背景）判定 95.3% 的 MedPMC 图像与临床相关，而此前一个 PMC 数据集仅为 19.7%。各阶段各有其分数：初筛 F1 为 93.2（F1 把精确率与召回率合为一个分数），复合图检测 96.5，拆分 mAP 为 89.8，图注对齐 F1 为 81.4、ROUGE-L 为 85.3（一种文本重合度度量），医学过滤 96.5。

在模型方面，效果清晰。沿用 BMC-CLIP 完全相同的协议、只更换训练语料，MedPMC-CLIP 在 26 项测试上平均 AUC 提升 7.1 个百分点，在 11 个专科中有 10 个取得进步，且训练所用图文对不到一半。作为一个 MLLM 的视觉编码器，它在 MMMU 上增益 +1.9、在 OmniMedVQA 上增益 +16.9 个百分点。在医院皮肤科上，它相对同一对照将 Recall@5 提升 11.7 个百分点。

不过，临床层面的转化仍然有限，作者也坦承这一点。那项「真实」任务并非诊断，而是图像检索：针对一段皮损描述，找出视觉上相近的病例——对想要比对的临床医生有用，而非供其独自定夺。一项表征空间分析显示，MedPMC 的皮肤科图像比若干公开数据集更好地覆盖了真实患者照片的分布——这是一个令人鼓舞的信号，却丝毫说明不了用于诊断的安全性。

做得好的地方

保真度是被度量的，而非被宣称的。其强项不在体量，而在语料的洁净度，这由人工复核（95.3% 对 19.7%）与逐阶段的基准共同确立，使流程可审计而非黑箱。在一个常常只顾堆积图文对、却不看其内容的领域里，这是难得的自律。

一项能隔离原因的实验对照。冻结 BMC-CLIP 的架构与协议、只更换数据，该研究干净地把 7.1 个百分点的增益归因于数据本身，而非更大或调得更好的模型。以不到一半的图文对取得这一增益，强化了其信息：质量重于数量。

真实而持续维护的开放。框架、语料、按组件划分的基准与模型权重均已发布（Hugging Face、GitHub），每条记录都带有其原始许可，且作者宣布将随 PMC 快照每半年更新一次（每年约新增一百万对图文）。这正是可复用基础设施区别于静态数据集之处。

做得不足的地方

一种写入来源的人群偏差。已发表的图并非日常图像：它们呈现的是有代表性的病例、可发表的结果、清晰而具教学性的示例。语料因此继承了选择偏差，模型也面临捷径学习（shortcut learning）之险——学到的是「文章配图的风格」（取景、标注、箭头），而非病理本身。作者对此明确承认；这是以文献作预训练的结构性局限。

单薄的临床验证，以及未被排除的泄漏风险。唯一在真实数据上的检验是皮肤科的图像检索——既非诊断，也非前瞻性研究——作者白纸黑字地写明它「并未确立可部署的成熟度」。此外还有数据泄漏（data leakage）之险：预训练语料与公开测试集之间可能存在重叠，作者称「无法完全排除」。他们以架构相同的对照与一个独立的内部队列加以防范，但对基准数字仍应保持审慎。

单一对照、对基准的强依赖、部分开放。增益几乎处处只对一个基线 BMC-CLIP 衡量；而在问答基准上，差距从 +1.9 到 +16.9 个百分点不等，可见性能高度依赖所选任务。语料还仅限于图文（既无化验值，也无表格数据，亦无纵向随访），且部分采用 CC BY-NC 或 NC-SA 许可的文章不可用于商业用途。最后须指出，两位共同作者受雇于 Microsoft Research，而利益冲突声明却写着「无」。

它改变了什么

对研究界而言，其信息是：数据策展理应被当作一门正当的工程问题来对待，而非被忽视的预处理。通过交付一套模块化、带版本、逐组件评估的基础设施，MedPMC 提供了一个数据成本更低的预训练底座，以及一个可复用于构建专用编码器或 MLLM 的模型——包括在公开数据匮乏的领域（罕见病、外科影像、病理子领域）。

对临床医生而言，现状下无一可直接部署。以文献预训练的模型只是一个通用起点，须先适配、再在目标机构的本地数据上验证。作者强调：文献是对临床数据的补充，而非替代，真实条件下的验证这一步仍全然有待完成。

对患者与公众而言，分寸很重要。一个「以医学文献训练」的模型，主要从出版物的图像中学习——那些图往往比诊室里拍下的照片更清晰、更典型、图注更完善。在测试集上的优异分数，并不保证在真实患者图像上的同等表现：本工作恰恰意在缩小的那道基准与床旁之间的鸿沟，并未被填平。

延伸阅读

该预印本可在 arXiv（10.48550/arXiv.2607.07673） 获取；语料、基准与权重发布于 Hugging Face，代码发布于 GitHub。研究由美国 NIH/NLM 资助（编号 R01LM014604 与 R00LM014024）。关于肿瘤学中的多模态基础模型，参见我们对肿瘤学中基础模型的探测与融合的解读；关于数字病理的基础模型，参见对 GigaPath 的解读；关于锚定于语料的系统在评估上的局限，参见我们的解读 RAG 与公共卫生。

编辑透明度说明：法文版由 Tatakoto 编辑部在阅读预印本后撰写并署名。英文、西班牙文与中文译本借助 AI 协助生成并经校订。