多模态肿瘤学中的基础模型：一次对病理与转录组的审计揭示了什么

来自艾伦·图灵研究所、癌症研究所（ICR）和基因泰克（Genentech）的团队，在乳腺癌和肺癌共 7600 多名患者身上，对五个基础模型（foundation models）在两种模态——数字化病理切片与转录组——上进行了系统评测。结论令人不安：在组学数据上，一个有上百年历史的主成分分析竟胜过专门设计的基础模型；而融合两种模态，只有在没有任何一方已主导信号时才有帮助。这不是一次突破，而是对这些模型究竟编码了什么、究竟有多可信的一次诚实审计。

背景

两年来，数字病理学进入了基础模型的时代：这些大型网络在数百万张组织切片上以无标签方式预训练，把一张图像转化为一串数字向量——即嵌入（embedding）——意在浓缩有用信息。随后在这些向量上接一个小分类器，用来预测肿瘤亚型、生物标志物或预后。名字层出不穷——UNI、CONCH、Virchow、MUSK——每一个都带着往往耀眼的性能数字。同样的浪潮正涌向转录组学（对基因活动的测量，即“组学”），出现了像 UCE（Universal Cell Embeddings）这样的模型，想为 RNA 做图像模型所做的事。

然而有三个问题仍未厘清。这些表征在分布外（out-of-distribution，OOD）数据上是否站得住脚——也就是与训练所见不同、尤其不同于几乎人人都在其上评测的公开 TCGA 数据集？融合图像与组学是否真有增益？以及，这些预测能否被信任？本研究正是针对这三个问题——探测、融合、可信——展开。

方法

作者采用探测（probing）：基础模型被冻结，不再训练，只在其固定嵌入之上学习一个轻量的头。这是衡量表征本身已包含多少信息的诚实做法。对图像，每个病例化为一袋编码后的图块，由一个注意力头聚合（即多示例学习，MIL，一种无需像素级标注即可学会为切片各片段加权的方法）；对组学，则用一个多层感知机处理基因向量。

数据并非来自 TCGA，而是来自一个商业数据库——Flatiron Health–Caris CMDB，即两个美国队列：3747 名乳腺癌患者和 3887 名非小细胞肺癌（NSCLC）患者，每例都配有 H&E 切片与转录组。共评测八项分类任务：活检部位、亚型（乳腺为四类）、PR 与 PIK3CA 生物标志物、杂合性缺失（LOH），以及肺癌的肿瘤部位和突变负荷（TMB）。过于罕见（占比低于 8%）的类别被剔除。

研究比较了三种图像–组学融合策略：CONTACT（向量直接拼接，即早期融合）、MCAT（通过模态间共注意力的中期融合）和 LateMIL（在决策层面的晚期融合）。最后，可信度以保形预测（conformal prediction）衡量：模型不再给出单一标签，而是返回一个经过校准的标签集合，以保证以约定概率（此处为 90%）包含正确答案。集合小而覆盖充分，则可信；若要列出一半类别才能维持保证，则等于承认了自身的不确定。

结果

在图像一侧，基础模型在形态上一目了然的任务上表现亮眼：区分乳腺转移性活检与原发性活检，AUC 超过 0.90（Virchow 0.94，UNI 0.93）。AUC 即 ROC 曲线下面积，1.0 为完美区分，0.5 为随机。但在肺癌的同类任务上，AUC 骤降至 0.63–0.65；在生物标志物（PR、PIK3CA）上，最好也只在 0.79–0.82 徘徊：有用，但远非可独立使用的检测。

真正的意外来自组学。专门设计的基础模型 UCE 同时不敌 scVI 和一个简单的主成分分析（PCA）——这是一项可追溯到 1901 年的降维技术。在乳腺亚型任务上，PCA 取得 0.8955 的 AUC，领先于所有图像模型，远超 UCE（0.76）。PCA 还在五项乳腺任务上取得最佳 AUC。作者直言不讳：“构建有效的转录组基础模型仍是一个悬而未决的难题。”

融合并不能系统性地力挽狂澜。LateMIL 最为稳定，但多模态只在部分任务上胜过最佳单模态——有时反而更差，比如在肺癌突变负荷上，单用组学（PCA）反而胜出。作者的结论是，融合“主要在没有任何一种模态已主导信号时”才有帮助。

在可信度上，保形集合守住了覆盖保证（视任务在 0.90 至 0.93 之间），但代价是平均规模约为两个类别。临床转译是：在四类的乳腺亚型任务上，模型平均返回两个候选而非一个——它有一半的时候诚实地拒绝下定论。0.90 的覆盖意味着，每 100 名患者中，约有 10 人的真实标签落在集合之外。而 72.6% 的“补救率”表明，当模型的首选错误时，正确答案仍有近四分之三的概率留在它给出的集合里。

优点

一个强劲的对照，而非稻草人。把 PCA 和 scVI 与基础模型同台比较，正是该领域所缺的严谨：恰恰是这个诚实的对照揭示了专用组学模型毫无增益、甚至有所拖累。太多研究拿弱对手作比以夸大差距；这里恰恰相反。

一次真正的分布外评测。研究走出 TCGA，转向一个预训练中从未见过的美国商业数据库，考验的是迁移能力而非记忆。信息泄漏（data leakage）——训练与测试中出现相同患者或相同图像，是该领域的典型顽疾——因模型被冻结、队列相互独立而从结构上被排除。

把可信度当作一项指标，而非一句口号。保形预测在不对分布作假设的前提下给出覆盖保证，并以集合形式给出预测——这是一种临床上有意义的格式，它说“这里是两个可能的亚型”，而不是给出一个误导性的确定答案。它是少数把不确定性测量得与性能同样认真的评测之一。

不足

一个未被量化的人群偏倚。两个队列都来自单一的美国商业来源（Flatiron–Caris），且仅涉及两种癌症。作者承认存在“亚组间的差异”，却没有公布任何分亚组（年龄、族裔、中心）的表格。没有这些数字，就无法判断对代表性不足人群可信度是否依然成立——这正是被留在盲区的人群偏倚。

可能美化的指标。准确率与 AUC 并列报告，但前提是剔除了占比低于 8% 的类别：在类别失衡的任务上，移除罕见类别会机械地抬高表观性能。而活检部位上偏高的 AUC 带有捷径学习（shortcut learning）的气味——模型很可能利用了粗糙的形态学特征（转移组织对原发组织）而非精细的生物学，与难度高得多的生物标志物之间的巨大落差正印证了这一点。

可复现性与独立性有限。代码与权重均未公开；数据为商业且封闭（需经 Flatiron/Caris 授权访问）。图像嵌入由产业方内部生成。尤为关键的是，一位作者隶属于基因泰克（罗氏旗下），而所获取的文本中并无任何正式的利益冲突声明——在一个产业有直接利益的主题上，这是一处缺口。

这意味着什么

对研究界而言，这篇论文是一记有益的提醒。它白纸黑字地记录下：当前的转录组基础模型尚未超越一个 PCA，多模态融合并非万能良方，而保形预测理应成为一项评测标准。瓶颈不在于堆叠模态，而在于对齐真正能互补的表征。

对临床医生而言，今天没有任何东西可供部署：没有一项任务达到可独立使用的性能，且一切都建立在单一来源的回顾性数据之上。可用的启示更为微妙：一个借助保形集合诚实回答“两个可能亚型”的模型，在实践中比一个以不当自信下定论的模型更安全。

对患者与公众而言，肿瘤学中的 AI 并非一个万能的单一模型。要读懂一个肿瘤的转录组，经典统计依然有竞争力；要读懂一张切片，大模型主要在简单问题上帮得上忙。这里的可信，取决于模型能否识别自己何时并不知道——这比一个惊人的 AUC 更令人安心。

延伸阅读

预印本：Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis（arXiv:2606.17115，DOI 10.48550/arXiv.2606.17115）。所评测的病理基础模型——UNI、CONCH、Virchow、MUSK——以及组学模型 UCE（Universal Cell Embeddings）。关于病理基础模型的背景，参见我们对 GigaPath 的解读。关于这一统计保证方法，参见保形预测的经典入门（Angelopoulos & Bates）。

编辑透明度说明：本解读以法语撰写，再借助 AI 辅助翻译为英语、西班牙语和中文，并经人工复核。每个数字均与原始预印本核对。Tatakoto 与作者及其所属机构无任何关联。