在手术前预测最"重"的莫氏手术:三十个机器学习模型主要学到的,其实是肿瘤大小
悉尼一个团队训练三十种机器学习算法,在手术前预测一台莫氏显微描记手术是否需要13个或更多组织切片——这个"重症病例"阈值直接照搬自澳大利亚的报销标准。在单一中心的408台手术上,表现最佳的模型(一个"堆叠"集成模型)的测试集AUC为0.884、准确率为81.7%,高于以往研究的0.70–0.78。但测试集只有82例,没有做外部验证,而特征重要性分析显示,模型主要重复了一个解剖学上的常识:肿瘤越大,要切的就越多。
关于背景
莫氏显微描记手术(MMS)是角质形成细胞皮肤癌——基底细胞癌(BCC)与鳞状细胞癌(SCC)——位于面部等解剖学敏感部位时的标准治疗,原发肿瘤的治愈率超过98%。其原理是:逐层切除肿瘤,每切一层立即在显微镜下检查,直到切缘干净为止。"切片"(section)和分期的数量在患者之间差异极大——从只需一片到复杂病例的四十片以上。
这个数字有非常具体的后果:重症病例会延长手术时间、占用更多资源,并需要更复杂的缝合技术。若能提前得知一台手术会很长,就有助于安排手术室、告知患者并规划重建。以往研究尝试过这一预测,AUC在0.70到0.78之间——AUC(ROC曲线下面积)在0.5到1之间衡量模型区分两个类别的能力,这里是"重症病例"和"轻症病例"。本研究提出的问题是:仅凭切口之前可获得的数据,机器学习模型能否预测出一台需要13片或以上的病例?
关于方法
任务是一个二分类:13片或以上,对比少于13片。13这个阈值并非生物学的——它对应澳大利亚报销标准(Medicare Benefits Scheme)中最高的报销档,被视为资源消耗大的病例的标志。数据来自单一机构The Skin Hospital位于悉尼的两个院区,时间跨度为2012–2017年:408台连续手术。患者平均年龄68.5岁(±12.9),57.8%为男性;93.4%的肿瘤位于头颈部,90.0%为基底细胞癌。
模型只接收术前变量——作者刻意排除了只有手术后才知道的数据(缺损大小、缝合方式、切缘状态),以保留术前的临床用途。保留了十六个变量:年龄、性别、肿瘤的两个直径、肿瘤面积(用这两个直径按椭圆面积公式计算)、肿瘤类型、既往复发、组织学侵袭性、身体部位与"风险区域"、侧别、精细解剖单位、术者经验、"see-and-do"状态、活检状态和吸烟史。
三十种算法相互竞争,分为六大类:梯度提升(XGBoost、LightGBM、CatBoost——这类方法把许多相继纠正前者错误的小决策树叠加起来)、集成方法("堆叠"通过一个元模型——这里是逻辑回归——组合多个模型的预测;"投票"让它们投票表决)、3到7层的神经网络、支持向量机以及经典分类器。数据按分层抽样分为训练集(80%,326例)和测试集(20%,82例),在训练集上做5折交叉验证,并用自助法(1000次重采样)得到置信区间。一个值得称道的点是:结局是平衡的,195例(47.8%)为13片或以上,213例(52.2%)在其下。变量重要性用SHAP值读取(一种为每个变量赋予其对预测平均贡献的方法),并通过用不同随机种子重训练20个随机森林来给出不确定性估计。没有做外部验证或时间验证。
关于结果
被宣布为冠军的堆叠集成模型,交叉验证AUC为0.891(95%置信区间0.849–0.934),测试集为0.884,准确率81.7%,F1为0.81。随机森林在交叉验证中AUC相同(0.891),但在测试集上回落到0.851;CatBoost交叉验证0.885、测试0.881,并有最佳校准(Brier分数0.134,最低——即其预测概率最可靠)。所有方法都挤在一起:AUC从0.867到0.891。值得注意的是,一个宽的3层神经网络在测试集上AUC达0.892——高于被封为最佳的那个模型。
按不确定性分层是最有意思的结果:82个测试病例中有58个(70.7%)得到"高置信"预测(不确定性低于15%),在这个子集上准确率升至91.4%,而把握较低的预测则为70.8%。学习曲线在约260个样本处趋于平台,提示同类数据再多也帮助有限。在变量方面,SHAP分析毫不含糊:肿瘤面积占主导(平均重要性0.141),远远领先于第一直径(0.086)、第二直径(0.068)、侵袭性(0.046)、复发(0.035)和年龄(0.035);身体区域(0.006)和术者经验(0.008)几乎无足轻重。在约1.5 cm²的面积处出现阈值效应,超过它,重症病例的概率急剧上升。单变量分析予以证实:13片或以上的病例,其肿瘤平均面积为6.32 cm²,对比0.75 cm²(p < 0.001,Cohen效应量d = 0.98,相当大)。
在临床解读上,有两点保留。首先,81.7%的准确率要放在约52%的基线率(多数类)背景下评判:模型确有实际价值,但在82个测试病例中仍会错约十五次——而且预印本正文既未报告所选阈值下的敏感度,也未报告特异度,二者都是判断其用途所必需的。其次,绝大部分信号都藏在一次用尺子做的测量里:肿瘤的面积。
做得好的地方
结局平衡,指标诚实而多元。与许多因患病率失衡而虚高准确率的IA-医疗研究不同,这里两个类别几乎对半(47.8%对52.2%):因此准确率和F1可以在没有患病率陷阱的情况下解读。作者不止步于AUC,还报告了校准(Brier分数)并讨论哪个模型校准最好——这种严谨少见。
可解释性一致且合理。SHAP值在各模型之间稳定(所有两两之间的Spearman相关ρ > 0.85),约1.5 cm²处的阈值效应在临床上可信,变量排序讲述的是一个清晰的故事而非黑箱。人们能看到模型为什么做出决定。
有利于部署的不确定性分层。系统不是给出单一分数,而是把可靠预测(70.7%的病例,准确率91.4%)与存疑预测(70.8%)分开:临床医生会知道何时该信任这个工具、何时该提防它。这正是大多数临床计算器所缺少的护栏。该研究还获得伦理批准(编号HREC 2017/021)并取得患者知情同意。
做得欠佳的地方
测试集极小,且"验证"主要是内部的。标题宣称"验证",但一切都建立在单一中心的一次随机划分上:82个测试病例,约39个阳性。在这个规模下,模型之间的差异都落在噪声之内——3层神经网络(测试0.892)其实击败了被宣布的冠军(0.884),CatBoost(0.881)与之持平。"最佳模型"是靠交叉验证的平局在小数点后第三位决出的,这使得排名并不稳定。研究没有做外部验证或时间验证,而这恰恰是换一家医院时让大多数模型崩塌的那一步。
三十个模型、没有简单对照、有过度乐观的风险。在408个病例上评估三十种算法并挑出最好的,会招致"赢家的诅咒":三十个里最高的AUC在机械意义上就是偏乐观的,而且没有对这种多重性做校正。尤其是,最显而易见的对照缺席了:仅用肿瘤面积做一个简单的逻辑回归。既然SHAP表明面积压倒一切,就没有任何证据表明三十个模型的火力胜过一把卷尺加一道三则运算。这是因遗漏而产生的偏倚对照:他们击败了旧文献(0.70–0.78),却不与那个平凡的基线较量。
把近乎同义反复的东西包装成预测,且人群狭窄。肿瘤面积是由两个直径确定性地算出的,而这两个直径本身也算进了"十六个变量":因此SHAP排名前三的变量其实是同一信息的重复。模型重复了一个常识——大肿瘤需要切除更多组织——作者其实也承认这一点:"13片或以上主要是肿瘤大小的替代指标"。此外还有很强的人群偏倚:单一澳大利亚中心,90%为基底细胞癌,93%为头颈部。最后,13这个阈值是一个计费产物(Medicare档),在一定程度上取决于术者的习惯——每一分期的切片数在不同区域从3.0变到8.6——而非生物学分界。还应注意,没有公开任何代码,数据仅在提出请求后才提供,而且一个由此工作衍生的在线计算器显示的输出(手术时长、计费代码、缺损大小)远远超出实际被验证的二分类模型,且它所依据的是一个与被称为最佳者不同的六模型集成。
它改变了什么
对研究界而言,这项研究提供了一个精致的术前预测模板——很好地使用了SHAP、报告了校准、做了不确定性分层——但更重要的是一堂评估课。在82个测试病例上比较三十个模型,既无外部验证又无平凡基线,得到的是脆弱的排名和很可能偏乐观的头条AUC。补救之道众所周知:预先登记一个简单对照(这里是仅用肿瘤面积),做外部验证和时间验证,报告工作点上的敏感度与特异度,并对所测试模型的多重性加以校正。
对临床医生而言,莫氏外科医生本就通过观察肿瘤的大小和位置来预判重症病例;这项工作把这种直觉形式化,但尚未证明它胜过一把厘米尺。若能完成外部验证,它在手术室排程和患者告知方面确有真实潜力。而在线计算器的额外输出(手术时长、报销代码)则并未得到所呈现数据的支持。
对患者和公众而言,有两个简单的观点。不,如今没有任何应用能可靠地告诉你,你的莫氏手术会很长:这个结果来自单一中心、82个测试病例,且未在别处得到验证。而"0.89的AUC"一经翻译便不那么惊人:位于敏感部位的大肿瘤需要更多手术——这我们本就知道。
延伸阅读
预印本《Development and Validation of Machine Learning Models for Predicting 13 or More Sections in Mohs Micrographic Surgery》可在 medRxiv(10.64898/2026.07.20.26358484)获取,作者为Yagiz Alp Aksoy、Simon Lee和Gilberto Moreno-Bonilla(悉尼大学Daffodil Centre与Centenary Institute的Biomedical AI Centre;Royal North Shore Hospital;悉尼The Skin Hospital)。研究经悉尼大学伦理委员会批准(HREC 2017/021),无申报资助,无利益冲突;许可为CC BY-NC-ND 4.0。数据在提出请求后提供,文章未附任何代码仓库。关于皮肤癌中的人工智能与验证陷阱,参见我们关于皮肤镜病变级联分类及其外部临床验证、关于一个在外部验证时崩塌的深度学习模型,以及关于数据稀少时随机森林对比深度学习的解读。
编辑透明度:法文版由Tatakoto编辑部在阅读预印本后撰写并署名。所选阈值下的敏感度和特异度未出现在预印本正文中,因此这里不作报告。英文、西班牙文和中文译本在人工智能协助下生成并经过校对。