médical IA

皮肤病变：96 % 准确率与 0.99 AUC —— 但只统计了模型愿意下判断的那四分之三图像

发布于 2026年8月18日 · 11 分钟阅读

两位作者 Rofiqul Islam 与 Lilatul Ferdouse 将三个神经网络与一套不确定性估计机制结合起来，在 HAM10000 数据集上对七类皮肤病变进行分类，报告了 96 % 的准确率和 0.99 的 AUC。这些数字只在系统认为足够可靠的图像上计算：结果表覆盖 1 508 张图像，而 10 015 张图像的 20 % 测试集应有 2 003 张 —— 接近四分之一的病例被剔除，而论文在任何地方都没有报告这一比例。方法方向是对的，但执行本身暴露了它的盲区：弃答在各类别之间并不均匀，而黑色素瘤上的弃答最多。

关于背景

基于皮肤镜图像（通过偏振光学器件对痣进行的近距离摄影）的皮肤病变自动分类，是医学人工智能最早的战场之一。自 Esteva 等人 2017 年在《Nature》发表论文以来，该领域有了一个占主导地位的基准数据集：HAM10000（Human Against Machine with 10,000 training images），由 Tschandl、Rosendahl 与 Kittler 于 2018 年发表在《Scientific Data》上。它汇集了 10 015 张带标注的皮肤镜图像，涵盖七个诊断类别，采集自维也纳医科大学以及澳大利亚昆士兰的一家筛查诊所。

该领域的问题已不再是提高这一基准上的整体准确率：它多年来一直停留在一个狭窄区间内，论文之间已难以真正区分。真正重要的问题变成了逐例可靠性。在临床上有用的模型，不是正确次数最多的那个，而是懂得说「我不知道」并把病例转给皮肤科医生、而不是胡乱下判断的那个。

这个想法在机器学习中有一个精确的名称：选择性预测（selective prediction，即带拒绝选项的分类），早在 1970 年由 C. K. Chow 形式化，并由 Geifman 与 El-Yaniv 在 2017 年重新推到该领域的中心。它附带一条不可协商的报告规则：报告选择性性能时绝不能省略对应的覆盖率 —— 即系统愿意给出判断的病例比例。覆盖率 100 % 下的 96 % 准确率，与覆盖率 50 % 下的 96 % 准确率，描述的是两个毫不相干的东西。而这正是本篇预印本失手的地方。

关于方法

数据。HAM10000，10 015 张 RGB 图像，七个类别：黑色素细胞痣（nv）、黑色素瘤（mel）、脂溢性角化及类似良性病变（bkl）、基底细胞癌（bcc）、光化性角化及上皮内癌（akiec）、血管性病变（vasc）、皮肤纤维瘤（df）。论文描述了按「分层抽样」进行的 80 % / 20 % 划分，即保持各类别比例不变。文中未提及单独的验证集。图像统一缩放到 224 × 224，采用标准 ImageNet 归一化，数据增强给出了确切幅度（水平与垂直翻转、最大 25° 旋转、亮度、对比度与饱和度 0.2 的抖动、10° 仿射错切）。类别不平衡问题（HAM10000 由良性痣主导）通过训练时的加权采样和 focal loss 处理 —— 后者是一种给困难样本和稀有类别更高权重的损失函数；但其两个参数 α 与 γ 从未给出。

模型。由三种在 ImageNet 上预训练并针对本任务微调的架构组成的集成：MaxViT-Tiny，一种交替使用块内局部注意力与稀疏全局注意力的混合视觉 Transformer；以及 ConvNeXt-Tiny 与 EfficientNetV2-B0 两个现代卷积网络。这一选择是有道理的：混合不同的归纳偏置（局部卷积与注意力）是降低集成误差最可靠的方式。组合方式是三个模型概率的简单算术平均，没有学习到的加权。训练设置：AdamW 优化器，学习率 10⁻⁴，权重衰减 10⁻⁴，余弦退火调度，15 个 epoch，批大小 16，自动混合精度，梯度裁剪阈值 1.0。GPU 型号、参数量与训练时长均未说明。

不确定性。这是论文宣称的核心。机制是 MC Dropout（Gal 与 Ghahramani，2016）：在推理时保持 dropout 层（随机关闭一部分神经元）处于激活状态，重复多次预测，用输出的离散程度作为不确定性的代理指标。这里是每个模型 T = 20 次随机前向传播，合计六十次。所用的 dropout 比例从未说明，相关层的位置也未说明。所采用的不确定性度量是六十次结果平均后分布的预测熵 —— 衡量概率质量在七个类别上分散程度的指标，当模型均匀分配概率时取最大值。当熵低于 1.0 且最大概率达到 0.7 时，预测被判定为可靠。这两个阈值既没有论证，也没有扫描，更没有在验证集上调校。

值得注意的是：由于熵是在平均后的分布上计算的，六十次传播之间的离散度本身从未被利用。因此 MC Dropout 在这里只起到平滑概率的作用，并没有把数据固有的不确定性与模型的不确定性区分开来 —— 而这恰恰是该方法本应实现的区分。

可解释性。Grad-CAM++ 生成热力图，标出对决策影响最大的图像区域。这些热力图仅在 MaxViT-Tiny 的最后一层上计算。

关于结果

公布的数字。96 % 准确率，AUC 为 0.99，宏平均精确率、召回率与 F1 分别为 0.94、0.95、0.95，加权平均均为 0.96。分类别结果：nv 0.99 / 0.97 / 0.98，1 044 张图像；bkl 0.96 / 0.94 / 0.95，141 张；mel 0.81 / 0.92 / 0.86，150 张；bcc 0.95 / 0.98 / 0.96，84 张；akiec 0.90 / 0.94 / 0.92，47 张；vasc 1.00 / 0.96 / 0.98，26 张；df 1.00 / 0.94 / 0.97，16 张。

改变一切的那一列。表格白纸黑字写明它覆盖 1 508 张图像。而 10 015 张图像的 20 % 测试集应包含 2 003 张。差额约 495 张，对应被不确定性过滤器剔除的病例：因此实际覆盖率约为 75 %。这一推算是我们做的。论文自始至终没有给出这个数字，没有报告任何全覆盖下的性能，也没有绘制任何风险—覆盖率曲线。「覆盖率」一词只在讨论部分的两句定性描述中出现过。

而且弃答并不均匀。把保留下来的样本数与 20 % 分层测试集的预期样本数相比较，可以重建出各类别差异很大的拒绝率：血管性病变约 7 %，但黑色素瘤约为三分之一（保留 150 张，预期约 223 张），脂溢性角化亦然（141 张对约 220 张）。换句话说，系统恰恰在最危险的类别、以及在它最主要的混淆来源上弃答最多。同样，论文没有报告任何分类别的拒绝率。

临床换算。若把 1 000 张图像交给该系统，约 250 张会被转给皮肤科医生，750 张由系统自动判断。在保留下来的黑色素瘤中，0.92 的召回率意味着每 100 例中约有 8 例会被机器标记为良性且不发出警示；混淆矩阵给出了原始形态 —— 在仅限于高置信度的病例中，10 例黑色素瘤被判为痣，30 例痣被判为黑色素瘤。但测试集中约三分之一的黑色素瘤根本没有被判断：整套装置的实际敏感度，完全取决于下游皮肤科医生如何处理被转介的病例，而论文既未建模也未量化这一点。这正是「评估一个分类器」与「评估一套分诊系统」之间的区别。

有一处内部矛盾值得指出，因为它偏向表面上的谨慎：正文称该框架在黑色素瘤上「仍达到 0.86 的召回率」，而表格给出的召回率是 0.92、F1 是 0.86。作者把自己的 F1 当成召回率引用了。

做得好的地方

方向是对的。构建一个拒绝对模糊病例下判断、并把它们转给临床医生的分类器，正是皮肤科人工智能应该走的方向。整套设计前后是自洽的：Transformer 加卷积的异构集成、推理时的 MC Dropout、以熵与最大置信度构成的双重拒绝判据（而非单纯的 softmax 阈值），以及把弃答明确解读为「转诊给皮肤科医生」。

训练流程描述得很精确。AdamW 学习率 10⁻⁴、权重衰减 10⁻⁴、余弦退火、15 个 epoch、批大小 16、混合精度、裁剪阈值 1.0，数据增强也给出了确切幅度。对于一篇五页的论文，这比 HAM10000 相关文献的平均水平更完整 —— 那里经常能见到完全不给超参数的结果。

结果按类别给出并附样本数。这正是本文可被批评的原因 —— 而这是一个优点。许多 HAM10000 论文止步于全局准确率，从中什么也重建不了。而这里，表格中的「Samples」一列与文中声明的测试集规模一对照，就足以还原出正文遗漏的弃答率。作者自己提供了衡量他们所未衡量之物的数据。

做得不够好的地方

1. 误导性指标：不报覆盖率的选择性性能不是性能。这是核心问题。所有报告的指标都是过滤之后的，没有一个是全覆盖下的，没有绘制风险—覆盖率曲线，阈值（熵 1.0、置信度 0.7）也是直接给定，既无论证也无敏感性分析。直接后果是：这 96 % 与任何已发表的 HAM10000 数字都不可比，因为后者全部是在 100 % 覆盖率下得到的。预印本从未指出这种不可比性。再加上黑色素瘤上的拒绝率最高：一个在你最不希望漏诊的类别上优先弃答的分诊辅助工具，恰恰把工作量推到本已最重的地方。

2. 病灶层面的数据泄漏风险。HAM10000 包含同一病灶的多张图像 —— 数据集专门附带病灶标识符（lesion_id），正是为了让这些重复图像能够被归组。论文只写了「分层抽样」，对按病灶或按患者分组只字未提。如果划分是在图像层面进行的，同一病灶的近乎相同的多个视角就会同时落在训练集和测试集两侧，所测得的准确率中就掺入了记忆的成分。这是该数据集被记录得最充分的失效模式。文中既未处理，也未提及，更未排除。

3. 没有对照，没有消融，只跑了一次。没有与文献对比的表格。没有三个模型各自单独的结果，因此没有任何证据表明集成带来了什么。没有对 MC Dropout、focal loss 或加权采样的消融，也没有与「仅用 softmax 阈值拒绝」这一显而易见的基线做比较。只用了一个随机种子，没有置信区间，没有统计检验 —— 而 df 与 vasc 上报告的 1.00 精确率分别只建立在 16 张和 26 张图像之上。没有在第二个队列上做外部验证，作者在结论中用两行字承认了这一点。没有任何校准分析 —— 既无期望校准误差，也无可靠性图 —— 尽管这篇论文卖点正是其不确定性估计的质量。在透明度方面：没有代码，没有权重，没有可辨认的机构署名，没有资助声明，也没有利益冲突声明。

另有两点次要但同样带有结构性的保留意见。人群偏倚：HAM10000 来自维也纳与昆士兰两个来源，也就是以浅肤色人群为绝对主体；关于该模型在深肤色人群（黑色素瘤较罕见但确诊更晚）上的表现，文中没有任何说明。作为装饰的可解释性：Grad-CAM++ 热力图没有用任何定位指标评估，也没有临床医生阅读研究，展示的四个例子全部是分类正确的病例 —— 没有展示任何失败案例。而且它们只在 MaxViT-Tiny 上计算，因此并不能解释真正被评估的那个预测器，即三个模型的平均。

这意味着什么

对研究界。这篇预印本是一个有用的案例，但其价值更多不在于它提出了什么，而在于它暴露了什么。选择性预测正迅速成为诊断人工智能的默认框架，它带来了一项影像学界尚未消化的报告要求：覆盖率是一项指标，不是实现细节。最低标准应当是一条风险—覆盖率曲线，或至少是一个三元组（准确率、覆盖率、分类别拒绝率）—— 生成成本很低，却足以让数字重新可比。审稿人应当拒绝任何缺少这些信息的选择性性能表格。

对临床医生。今天什么也改变不了。一个只在单一公开数据集上训练与测试、没有外部验证、没有代码、没有权重、没有校准、也没有报告覆盖率的模型，在实践中不是一个可评估的对象。面对任何展示此类装置的供应商，只需问一个简单而足以筛选的问题：贵系统愿意在多大比例的病例上给出判断，剩下那部分的表现又如何？一件分诊工具不能只凭它觉得容易的病例来评判。

对患者与公众。脱离适用范围的准确率数字毫无意义。「96 % 准确率」既可以指一个在所有病例上百次里对 96 次的模型，也可以指一个只在它自己挑出的四分之三病例上百次里对 96 次、其余交给人处理的模型。后一种情况下，这个数字描述的与其说是性能，不如说是筛选。这个问题值得每次都问，包括对那些经常以此类指标做宣传的大众痣拍照应用。