ALICE：从八位专家蒸馏出的单一病理基础模型——在96项任务上取得最佳平均排名，但缺乏前瞻性验证
清华深圳、牛津大学与中山大学的团队，通过一种名为ALICE的三阶段"聚合蒸馏"，将八个数字病理基础模型融合为单一网络。在覆盖48个数据源的96项任务上，ALICE相对专用模型取得最佳平均排名，视任务类型超过第二名1.79、6.39和3.04分。但评估完全是回顾性的，比较对象正是ALICE自身的教师模型，而且尽管预训练与测试都取自TCGA，论文未报告任何数据泄漏控制。
背景
数字病理学——对超高分辨率扫描组织切片的分析——已成为医学人工智能最活跃的领域之一。过去两年，基础模型（在海量图像语料上预训练、随后可复用于众多任务的大型网络）不断涌现：UNI、Virchow、H-optimus、GigaPath、CONCH、TITAN等。问题在于它们并不可互换。每一个都以不同的目标、数据和规模训练而成。有的擅长描述一小块组织瓦片，有的擅长把图像与文本关联，还有的擅长在整张切片（whole-slide image，即WSI，可达数十亿像素）尺度上推理。专长因而"碎片化"于多个网络之间：要覆盖全部任务，实验室必须并行托管并运行多个庞大模型。
ALICE——即Agglomerative Learning via Integrated Computational pathology Embedding——提出了另一条路径，借鉴自通用计算机视觉（RADIO方法）：与其在更多数据上再训练一个模型，不如把若干现有模型蒸馏为单一模型。论文提出两个问题：能否把八个模型的互补能力整合进一个网络，以及这一单一网络能否在各位教师各自的领域上与之匹敌、甚至胜过它们？
方法
知识蒸馏是指训练一个"学生"网络去复现一个或多个被冻结的"教师"网络的内部表示，而无需接触其原始数据。ALICE把这一思路推向八位教师，分为三个家族。三个纯视觉模型（UNI-2，6.81亿参数；Virchow-2，6.32亿；H-optimus-1，11亿），负责编码组织瓦片。三个视觉-语言模型（CONCH、MUSK、KEEP），负责对齐图像与文本。两个切片级模型（TITAN、CARE），负责把数千个瓦片聚合为整张切片的表示。
学生是一个ViT-H/14型视觉transformer（transformer是自2017年以来主导人工智能的架构；"H/14"表示其规模及其分块的精细度），带有三个按序激活的模块。训练分三阶段，对应三个教师家族。在每一阶段，学生通过两种主要损失学习模仿相应教师的输出：角度蒸馏损失，令学生与教师向量的方向彼此接近；以及瓦片蒸馏损失，令局部空间表示对齐。视觉模块首先训练，随后冻结；多模态模块嫁接其上；切片级模块最终在预先计算好的特征上工作，不再回到原始像素。值得注意的是，论文从未给出ALICE的总参数量。
预训练只使用公开数据。瓦片方面，TCGA-12K：从癌症基因组图谱（TCGA，美国大型公开数据库）约12000张切片中提取的24 985 184张224×224像素图像，覆盖32种癌症类型。高分辨率方面，155 604个8192×8192像素区域，其中25 495个来自TCGA，130 109个来自公开的HISTAI合集。预训练不含任何私有队列。评估覆盖21个场景（每家族7个）、96项下游任务和48个数据源：区域分类与分割、视觉问答、图像检索，以及切片级的肿瘤亚型分型、生物标志物预测和生存分析。所有模型在相同数据集与划分上比较，每次都对阵"与任务匹配"的模型——实际上，正是ALICE自己的教师。
结果
主要结果以平均排名表示：在每项任务上对各模型排序，再对ALICE的位次取平均。在三种设置下，ALICE都在匹配模型中取得最佳平均排名，超过第二名1.79分（纯视觉）、6.39分（多模态）和3.04分（切片级）。相对所有其他模型的平均水平，差距扩大到3.10、7.41和4.00分。在19项临床任务的弱监督整片分类中，ALICE在17项上居首，并在12项上显著优于第二名。在12项区域任务的少样本学习（仅凭极少样例）中，其平均排名为1.08。
这些数字扎实，但需谨慎解读，而论文本身也提供了予以限定的材料。排名掩盖了差距的幅度：平均排名1.25而非1.5，可能只对应极小的绝对差异。而在给出绝对指标之处，ALICE并非总是领先：在区域实例分割上，它取得0.599的AP@50（一种检测质量度量），而UNI-2为0.607——也就是相对自身某位教师略有退步。
至于临床转化，仍停留在理论层面，作者对此并不讳言。那些"临床"任务——预测乳腺癌ER/PR激素受体状态、肾癌突变（PBRM1、BAP1、SETD2）、以一致性指数（C-index，即模型按预后正确排序两名患者的概率）衡量的生存分析——全部是回顾性的，在归档队列上完成。没有一项对应床旁的前瞻性使用。因此，创纪录的平均排名并不等于经过验证的诊断检测。
值得肯定之处
一个优雅而实用的工程思路。把八个庞大模型整合进单一网络，回应了真实的现场难题：与其并行托管和维护多个基础模型，实验室或许只需运行一个。这一从通用视觉引入的方法，可迁移到其他碎片化领域；而单一学生能在八位教师各自的任务上与之抗衡，本身就是一个不平凡的结果。
一次广泛且对盲点诚实的评估。96项任务、48个数据源、六类指标：其测试台的广度超过该领域多数论文。尤为可贵的是，作者也报告了ALICE落败之处（实例分割低于UNI-2），而非只展示胜绩。这种对失利的坦诚是一种严谨的标志。
切实的开放。模型的代码与权重宣布公开（GitHub仓库WonderLandxD/ALICE），全部预训练数据均来自托管于Hugging Face的公开来源（TCGA-12K、TCGA-UT-8K、HISTAI）。这使工作可复现、可复用，不同于那些在无法获取的医院切片上训练的模型。
值得商榷之处
可能存在、却从未加以控制的数据泄漏。这是最严重的局限。ALICE在TCGA上预训练，而多个测试集源自TCGA或与之相近；其八位教师也见过潜在重叠的巨量切片集合。然而论文未报告任何关于预训练切片与评估切片之间重叠的分析。这种数据泄漏——测试数据直接或间接被用于训练——会机械地抬高分数。若无有据可查的去重，基准数字应被视作上界。
既当裁判又当选手的比较对象，以及一个讨巧的指标。ALICE聚合了八个模型的知识，随后又拿自己去与这同样的八个模型逐一比较。按构造去击败那些知识已被自己融合的教师，与击败一个独立且更新的模型并不是一回事。此外，零样本（无需再训练的分类）中还存在不对称：ALICE对其对齐CONCH、MUSK、KEEP的三个头的概率取平均，从而获得单一模型比较对象所不具备的集成优势。最后，把平均排名选作展示——此处是一种误导性指标——掩盖了有时极小的绝对差距。
验证薄弱、数据基础狭窄。作者直言不讳：ALICE"主要在回顾性设置中评估"，面对染色、扫描仪与人群的真实差异，"前瞻性、多机构"研究仍属必要。预训练依托TCGA——多为美国学术中心——因而在未被代表的队列上可能存在人群偏倚，且它同时忽略了免疫组化与基因组学。就本质而言，蒸馏还会继承其教师的盲点：若所有教师共享同一种捷径学习（学到制片伪影而非生物学本质），学生便会照单全收而不予纠正。
它改变了什么
对研究界而言，ALICE把蒸馏—整合确立为对抗"规模竞赛"的一条可信策略：与其一味训练更大的模型，不如融合已有之物。这也提出一个开放问题——收益递减以及对教师质量的依赖：原则上，学生无法持久地超越其师长已经掌握的东西。这项工作提供了一个可复用的统一模型，前提是权重确实以可用的许可证发布，而这一点论文并未说明。
对临床医生而言，今天并无改变。这是一个在归档切片上评估的研究模型，没有前瞻性研究，也没有监管认证。这样一个网络仍是一个通用底座，在任何使用之前都需在目标机构的数据上加以适配并验证。
对患者与公众而言，用词需谨慎。"在96项任务上取得最佳平均排名"听来像是加冕，但指的是在过往数据上的实验室表现，而非经证实的诊断能力。基准分数与床旁效用之间的差距——医学人工智能的核心所在——依然敞开着。
延伸阅读
预印本见arXiv（10.48550/arXiv.2607.09526）；代码与权重发布于GitHub。研究由中国公共基金资助（国家自然科学基金82430062等）；作者声明无利益冲突。关于相反的问题——整理数据而非蒸馏模型——见我们对MedPMC与PMC文献的解读；关于一个在真实数据上训练的病理基础模型，见GigaPath；关于在肿瘤学中对基础模型表示的批判性评估，见我们的解读肿瘤学中的探测与融合。
编辑透明度：法文版由Tatakoto编辑部在阅读预印本后撰写并署名。英文、西班牙文和中文译本借助人工智能生成并经人工校对。