当皮肤癌检测器换了一个国家：一套皮肤镜图像级联分类器在从 ISIC 数据库迁移到俄罗斯临床数据时，AUC 从 0.96 跌至 0.80（arXiv，2026）
这篇于 2026 年 6 月 11 日发布于 arXiv 的预印本由 Elena Kozachok 及其同事撰写，比较了四种神经网络架构和三种组织决策的方式，用于对皮肤镜（在高放大倍率下检查皮肤）所拍摄的皮肤病变图像进行分类，并测试它们从一个大型开放国际数据库（ISIC）迁移到两个独立俄罗斯临床数据集时的泛化能力。核心结论是一记警示：内部近乎完美的良性/恶性判别（ROC 曲线下面积 0.952 至 0.966）在新的场景中崩塌——在谢切诺夫大学的数据上，AUC 降至 0.797–0.893，灵敏度降至 0.53–0.67，校准严重退化，模型朝着危险的方向出错，低估了癌症风险。其方法学贡献是一种带可调分诊阈值的级联分类，能够显式地控制灵敏度，而单阶段分类器做不到这一点。该工作的价值在于测量并公布了大多数研究宁愿回避的这一泛化差距；其局限则在于验证队列极小且不平衡，既没有与皮肤科医生比较，也没有前瞻性试验。
背景
皮肤癌是医学人工智能最早、也最活跃的领域之一。自 2017 年以来，许多模型在"干净"的测试集上，在通过皮肤镜图像区分良性与恶性病变方面已达到可与皮肤科医生相比的表现——皮肤镜即通过带光源的放大镜检查皮肤，以显示肉眼不可见的结构。这些模型大多在同一数据来源上训练和评估：ISIC 数据库（International Skin Imaging Collaboration），这是一个公开仓库，汇集了数十万张皮肤镜图像，主要来自浅肤色人群和西方中心。
一个已知但很少被量化的问题是领域偏移：一个在 ISIC 图像上表现出色的模型，在别处采集的图像上——使用其他设备、其他协议、面对其他患者——是否仍然表现正确？在皮肤肿瘤学中，这一点并不抽象。漏诊一例黑色素瘤（最致命的皮肤癌）或一例癌，会带来直接后果。这项工作正面应对了这一问题，将在 ISIC 上训练的模型与俄罗斯临床实践的现实相对照，并顺带比较了几种构建诊断决策的方式。
方法
作者比较了四种现代视觉架构，全部先在 ImageNet（一个大型通用图像数据集）上预训练，再在皮肤镜数据上重新训练。两种是视觉 Transformer——这类网络把图像切成小块，并通过所谓的注意力机制学习它们之间的关系：ViT-B/16 和 Swin-S。两种是卷积网络，即专门检测局部模式的经典家族：ConvNeXt-S 和 EfficientNetV2-S。所有模型都使用相同的数据增强协议（旋转、裁剪和各种变化，用于人为地丰富训练），以保证比较公平。
更重要的是，作者让三种分类方案相互对照。第一种是二分类：良性对恶性。第二种是单阶段四分类：良性、黑色素瘤（MEL）、皮肤鳞状细胞癌（SCC）和基底细胞癌（BCC），网络直接选出最可能的类别（即"argmax"规则）。第三种是两阶段级联：第一个模型先做良性/恶性分诊，第二个模型再在被判为恶性的病变中区分 MEL、SCC 和 BCC。这种级联所宣称的优势在于分诊阈值可调：降低阈值会提高灵敏度（漏掉的癌症更少），代价是更多假警报——这是固定的 argmax 规则所不具备的调节杆。
训练依托于ISIC 数据库的开放数据聚合。评估分三个层次进行：一个留出的内部样本（与 ISIC 同一分布），以及两个独立的外部临床数据集——来自商业移动系统 Melanoscope AI 的一个子样本（472 张图像：450 张良性，22 张恶性，其中黑色素瘤 14 例、SCC 1 例、BCC 7 例）和来自谢切诺夫大学的一个数据集（77 张图像：20 张良性，57 张恶性，其中黑色素瘤 28 例、SCC 6 例、BCC 23 例）。性能用 ROC-AUC（区分恶性与良性病例的能力）、灵敏度（被正确检出的癌症比例）和 ECE（Expected Calibration Error，期望校准误差：模型显示的置信度与其实际准确率之间的差距——ECE 越低，意味着 80% 的得分确实对应 80% 的正确率）来衡量。
结果
在内部，一切良好：良性/恶性二分类阶段根据架构不同达到 ROC-AUC 0.952 至 0.966，这是现代模型在与训练同源数据上应有的水平。然而在外部场景中，局面反转。在谢切诺夫大学数据集上，二分类 AUC 降至 0.797–0.893，尤其是灵敏度跌到 0.53–0.67：视架构而定，真正的恶性病变中有三分之一到近一半不再被标记为恶性。与此同时，ECE 从 0.02 飙升至 0.27–0.39：模型已完全失去校准，而且漂移朝向最危险的方向，低估了恶性程度——它给本质上是癌症的病变打出令人安心的置信分数。至于级联，则兑现了其方法学承诺：通过调节分诊阈值，可以重新获得对灵敏度的显式控制，这是单阶段 argmax 无法做到的，而"先分诊再鉴别"的链条也更好地再现了临床鉴别诊断的逻辑。
临床解读：在谢切诺夫的 57 例恶性病变上，0.53–0.67 的灵敏度意味着 57 例中约有 19 至 27 例癌症会被错误地判为良性。对于黑色素瘤而言，这样一次假阴性可能让一个预后高度依赖早期处理的肿瘤被延误数月诊断。退化的校准令情况更糟：模型不仅在其训练领域之外更频繁地出错，而且是带着自信地出错，而这恰恰是最可能误导一个信任该分数的用户的错误类型。反过来，级联的灵敏度调节杆指出了一条出路：对于筛查工具，人们会把阈值调向高灵敏度，即便代价是大量假警报、从而带来不必要的检查和活检——这是一种必须被明确承担、而非被动接受的权衡。
做得好的地方
一次真实的外部验证，跨越到另一个国家，并毫不掩饰地公布泛化差距。 该工作的价值核心正在于此：作者没有报告一个在 ISIC 派生的内部测试上讨好的 AUC，而是把模型放到两个独立的俄罗斯临床数据集上对照，并公布了下跌——AUC 从 0.96 到 0.80，灵敏度低至 0.53。这正是大量在 ISIC 上训练和测试的皮肤镜文献往往回避的检验。
一种让灵敏度可调、并贴合临床逻辑的级联。 把良性/恶性分诊与癌症类型鉴别分开，并配以可调阈值，不只是技术上的优雅：它把单阶段 argmax 决策所锁死的灵敏度/特异度调节杆重新交还给设计者。对于筛查用途——漏掉一例癌症远比一次假警报严重——这是把对的杠杆放在了对的位置。
测量了校准，而不只是准确率。 通过报告 ECE 而不仅是 AUC 或准确率，作者记录了几乎所有论文都避而不谈的一种失效模式：一个模型可以在平均意义上保持"大致正确"，却在分布之外变得危险地过度自信。展示 ECE 从 0.02 爆增到接近 0.4，在临床上比许多位 AUC 小数更有说服力。
做得不足的地方
领域偏移与可能的人群偏差是崩塌的根源（失效模式：人群偏差与领域偏移）。 模型在 ISIC 上训练——这是一个由浅肤色人群和西方中心主导的数据库——然后在使用其他设备和采集协议的俄罗斯临床实践上测试。AUC 与灵敏度的下跌正是这种偏移的典型标志。论文指出了它，却没有纠正它（没有本地重训练，也没有评估领域自适应），因此其信息更多是对问题的诊断，而非解决方案。
外部队列极小且高度不平衡（失效模式：误导性指标与选择偏差）。 谢切诺夫数据集只有 77 张图像（其中仅 6 例 SCC），Melanoscope 数据集 472 张图像中仅 22 例恶性病变（其中只有一例 SCC）。在如此小的样本上，每个病例的权重都极大：0.53 至 0.67 的灵敏度有着很宽的置信区间，而 SCC 类别的代表性太弱，无法得出任何结论。此外，谢切诺夫的良性/恶性比例（恶性占多数）与真实筛查场景相反——在真实筛查中良性病变占绝大多数——这使得原始数字难以原样套用。
没有皮肤科医生对照、一个来源于商业产品的验证集，以及仅为预印本的状态（失效模式：有偏的对照与潜在的利益冲突）。 唯一的比较是论文内部的（架构与方案彼此之间）；没有与皮肤科医生判断的对照，而后者仍是相关的临床标尺。两个外部数据集之一来自一套商业移动系统（Melanoscope AI），这引出一个关于数据来源与代表性的问题，需要留意。最后，这是一篇尚未经过同行评审的回顾性预印本，没有前瞻性验证，也没有监管资质——这些都是常见的保留意见，但鉴于其利害（漏诊一例癌症），在此尤为关键。
它改变了什么
对研究界而言，该工作就皮肤镜泛化差距的幅度提供了一个冷静而有用的参照，以及两个可复用的思路：带可调灵敏度的级联分类，以及在领域偏移下对校准（ECE）而不仅是 AUC 的系统性评估。它以身作则地主张：应把外部验证与校准作为默认要求，而非额外加分项。
对临床医生而言，今天的实践不会改变。一个在训练领域之外漏掉三分之一到一半癌症、并且带着失准的自信这样做的模型，无法充当独立工具。其实用信息偏负面却很宝贵：一个在 ISIC 上训练的分类器，未经事先的本地验证与重新校准，不应部署到新的人群上。
对患者和公众而言，这是对"皮肤癌筛查"拍照应用保持谨慎的提醒。一个在国际数据上显示出色数字的工具，在另一人群上可能明显逊色，而一个令人安心的分数并不是保证。不过，可调灵敏度这条路指向了更安全的筛查工具——被校准为宁可抓住癌症、代价是额外检查——前提是这种权衡是明确的，并经过本地验证。
延伸阅读
完整预印本可在 arXiv 上获取（DOI 10.48550/arXiv.2606.13135），由 Elena Kozachok 及其同事于 2026 年 6 月 11 日发布，临床验证尤其依托于谢切诺夫大学（莫斯科）。训练数据来自 ISIC 数据库，一个公开的皮肤镜图像仓库。关于黑色素瘤筛查的临床框架以及对皮肤病学中人工智能工具的批判性阅读，皮肤病学学会的指南以及专门讨论模型外部验证的综述提供了可靠的入门参考。