médical IA

Lésions cutanées : 96 % d’exactitude et 0,99 d’AUC — sur les trois quarts des images que le modèle a accepté de trancher

Publié le 18 août 2026 · 11 min lecture

Deux auteurs, Rofiqul Islam et Lilatul Ferdouse, combinent trois réseaux de neurones et un mécanisme d’estimation d’incertitude pour classer sept types de lésions cutanées sur le jeu de données HAM10000, et annoncent 96 % d’exactitude et une AUC de 0,99. Ces chiffres sont calculés uniquement sur les images que le système a jugées suffisamment fiables : le tableau de résultats porte sur 1 508 images, alors qu’un jeu de test de 20 % sur 10 015 images en compte 2 003 — soit près d’un quart des cas écartés, un taux que le papier ne rapporte à aucun endroit. Le geste méthodologique est bon, l’exécution documente elle-même son propre angle mort : l’abstention n’est pas uniforme entre classes, et c’est sur le mélanome qu’elle est la plus forte.

Le contexte

La classification automatique de lésions cutanées à partir d’images de dermoscopie — la photographie rapprochée d’un grain de beauté à travers une optique polarisée — est l’un des terrains les plus anciens de l’IA en médecine. Depuis les travaux d’Esteva et collègues publiés dans Nature en 2017, le domaine dispose d’un benchmark dominant : HAM10000 (Human Against Machine with 10 000 training images), publié par Tschandl, Rosendahl et Kittler dans Scientific Data en 2018. Ce jeu de données rassemble 10 015 images dermoscopiques annotées en sept catégories diagnostiques, collectées à l’université de médecine de Vienne et dans un cabinet de dépistage du Queensland australien.

Le problème du domaine n’est plus d’améliorer l’exactitude globale sur ce benchmark : elle plafonne depuis des années dans une bande étroite où les papiers ne se départagent plus vraiment. La question qui compte est devenue celle de la fiabilité par cas. Un modèle utile en clinique n’est pas celui qui a raison le plus souvent, c’est celui qui sait dire « je ne sais pas » et renvoyer le cas au dermatologue plutôt que de trancher au hasard.

Cette idée porte un nom précis en apprentissage automatique : la prédiction sélective (selective prediction, ou classification avec option de rejet), formalisée dès 1970 par C. K. Chow et remise au centre du jeu par Geifman et El-Yaniv en 2017. Elle vient avec une règle méthodologique non négociable : on ne publie jamais une performance sélective sans la couverture associée — la fraction des cas sur lesquels le système accepte de se prononcer. Une exactitude de 96 % à couverture 100 % et une exactitude de 96 % à couverture 50 % décrivent deux objets sans rapport. C’est exactement le point sur lequel ce préprint bute.

La méthode

Les données. HAM10000, 10 015 images RVB, sept classes : nævus mélanocytaire (nv), mélanome (mel), kératose séborrhéique et lésions apparentées (bkl), carcinome basocellulaire (bcc), kératose actinique et carcinome intraépithélial (akiec), lésion vasculaire (vasc), dermatofibrome (df). Le papier décrit une partition 80 % / 20 % par « échantillonnage stratifié », c’est-à-dire préservant la proportion de chaque classe. Aucun jeu de validation distinct n’est mentionné. Images redimensionnées en 224 × 224, normalisation ImageNet standard, augmentations chiffrées (retournements horizontaux et verticaux, rotation jusqu’à 25°, variation de luminosité, contraste et saturation de 0,2, cisaillement affine de 10°). Le déséquilibre entre classes — HAM10000 est dominé par les nævus bénins — est traité par un échantillonnage pondéré à l’entraînement et par une focal loss, une fonction de coût qui accorde davantage de poids aux exemples difficiles et aux classes rares ; ses deux paramètres, α et γ, ne sont jamais donnés.

Les modèles. Un ensemble de trois architectures pré-entraînées sur ImageNet et ré-entraînées sur la tâche : MaxViT-Tiny, un transformeur de vision hybride qui alterne attention locale par blocs et attention globale espacée ; ConvNeXt-Tiny et EfficientNetV2-B0, deux réseaux convolutionnels modernes. Le choix est défendable : mélanger des biais inductifs différents (convolution locale contre attention) est la manière la plus fiable de faire baisser l’erreur d’un ensemble. La combinaison est une simple moyenne arithmétique des probabilités des trois modèles, sans pondération apprise. Entraînement : optimiseur AdamW, taux d’apprentissage 10⁻⁴, weight decay 10⁻⁴, ordonnanceur en recuit cosinus, 15 époques, lots de 16, précision mixte automatique, écrêtage du gradient à 1,0. Le modèle de GPU, le nombre de paramètres et le temps d’entraînement ne sont pas indiqués.

L’incertitude. C’est le cœur annoncé du papier. Le mécanisme est le MC Dropout (Gal et Ghahramani, 2016) : on laisse actives à l’inférence les couches de dropout — qui éteignent aléatoirement une fraction des neurones — et on répète la prédiction plusieurs fois, la dispersion des sorties servant de proxy d’incertitude. Ici, T = 20 passes stochastiques par modèle, soit soixante passes au total. Le taux de dropout appliqué n’est jamais précisé, ni l’emplacement des couches concernées. L’incertitude retenue est l’entropie prédictive de la distribution moyennée sur les soixante passes — une mesure d’étalement de la distribution de probabilité sur les sept classes, maximale quand le modèle répartit sa masse uniformément. Une prédiction est déclarée fiable si l’entropie est inférieure à 1,0 et si la probabilité maximale atteint 0,7. Ces deux seuils ne sont ni justifiés, ni balayés, ni calés sur un jeu de validation.

À noter : parce que l’entropie est calculée sur la distribution moyennée, la dispersion entre les soixante passes n’est jamais exploitée en tant que telle. Le MC Dropout ne sert donc ici qu’à lisser les probabilités, pas à séparer l’incertitude irréductible des données de l’incertitude du modèle — la distinction que la méthode est précisément censée permettre.

L’interprétabilité. Grad-CAM++ produit des cartes de chaleur désignant les régions d’image qui pèsent le plus sur la décision. Elles sont calculées sur la dernière couche de MaxViT-Tiny seul.

Les résultats

Les chiffres annoncés. 96 % d’exactitude, AUC de 0,99, précision, rappel et F1 en moyenne macro de 0,94, 0,95 et 0,95, et 0,96 en moyenne pondérée. Par classe : nv 0,99 / 0,97 / 0,98 sur 1 044 images ; bkl 0,96 / 0,94 / 0,95 sur 141 ; mel 0,81 / 0,92 / 0,86 sur 150 ; bcc 0,95 / 0,98 / 0,96 sur 84 ; akiec 0,90 / 0,94 / 0,92 sur 47 ; vasc 1,00 / 0,96 / 0,98 sur 26 ; df 1,00 / 0,94 / 0,97 sur 16.

La colonne qui change tout. Le tableau porte, en toutes lettres, sur 1 508 images. Un jeu de test de 20 % sur 10 015 images en contient 2 003. L’écart, environ 495 images, correspond aux cas écartés par le filtre d’incertitude : la couverture réelle est donc de l’ordre de 75 %. Ce calcul est le nôtre. Le papier ne donne à aucun moment ce chiffre, ne rapporte aucune performance à couverture pleine, et ne trace aucune courbe risque-couverture. Le mot « couverture » n’y apparaît que dans deux phrases qualitatives de la discussion.

Et l’abstention n’est pas uniforme. En comparant les effectifs retenus aux effectifs attendus d’un test stratifié à 20 %, on reconstruit un taux de rejet très variable selon la classe : environ 7 % pour les lésions vasculaires, mais de l’ordre d’un tiers pour le mélanome (150 retenus pour environ 223 attendus) et pour les kératoses séborrhéiques (141 pour environ 220). Autrement dit, le système s’abstient le plus sur la classe dangereuse et sur sa principale source de confusion. Là encore, le papier ne rapporte aucun taux de rejet par classe.

Traduction clinique. Sur 1 000 images passées au système, environ 250 seraient renvoyées à un dermatologue et 750 tranchées automatiquement. Parmi les mélanomes retenus, le rappel de 0,92 signifie qu’environ 8 mélanomes sur 100 seraient étiquetés bénins par la machine sans alerte ; la matrice de confusion en donne la forme brute — 10 mélanomes classés en nævus, et 30 nævus classés en mélanome parmi les seuls cas confiants. Mais un tiers des mélanomes du test n’a pas été tranché du tout : la sensibilité effective du dispositif complet dépend entièrement de ce que fait le dermatologue en aval sur les cas renvoyés, ce que le papier ne modélise ni ne chiffre. C’est la différence entre évaluer un classifieur et évaluer un système de tri.

Une incohérence interne mérite d’être signalée, parce qu’elle va dans le sens de la prudence apparente : le texte affirme que « le cadre atteint tout de même un rappel de 0,86 » pour le mélanome, alors que le tableau donne 0,92 en rappel et 0,86 en F1. Les auteurs citent leur propre F1 en croyant citer leur rappel.

Ce qui est bien

Le geste est le bon. Construire un classifieur qui refuse de trancher les cas ambigus et les renvoie au clinicien est exactement la direction dans laquelle l’IA dermatologique doit aller. Le dispositif est cohérent de bout en bout : ensemble hétérogène transformeur + convolutions, MC Dropout à l’inférence, double critère de rejet (entropie et confiance maximale) plutôt qu’un simple seuil sur le softmax, et une lecture explicite de l’abstention comme « référer au dermatologue ».

Le protocole d’entraînement est décrit avec précision. AdamW à 10⁻⁴, weight decay 10⁻⁴, recuit cosinus, 15 époques, lots de 16, précision mixte, écrêtage à 1,0, et des augmentations données avec leurs amplitudes exactes. Pour un article de cinq pages, c’est plus complet que la moyenne de la littérature sur HAM10000, où l’on trouve régulièrement des résultats sans aucun hyperparamètre.

Les résultats sont donnés par classe avec les effectifs. C’est ce qui rend l’article critiquable — et c’est un mérite. Beaucoup de papiers HAM10000 s’arrêtent à une exactitude globale, dont on ne peut rien reconstruire. Ici, la colonne « Samples » du tableau, lue contre la taille annoncée du jeu de test, suffit à retrouver le taux d’abstention que le texte omet. Les auteurs fournissent eux-mêmes les données qui permettent de mesurer ce qu’ils ne mesurent pas.

Ce qui est moins bien

1. Métrique trompeuse : une performance sélective sans couverture n’est pas une performance. C’est le problème central. Toutes les métriques rapportées sont post-filtrage, aucune n’est donnée à couverture pleine, aucune courbe risque-couverture n’est produite, et les seuils (entropie 1,0, confiance 0,7) sont posés sans justification ni sensibilité. Conséquence directe : ces 96 % ne sont comparables à aucun chiffre publié sur HAM10000, qui sont tous à couverture 100 %. Le préprint ne signale jamais cette non-comparabilité. Ajoutons que le rejet est le plus fort sur le mélanome : un système d’aide au tri qui s’abstient préférentiellement sur la classe qu’on cherche à ne pas manquer déplace la charge de travail exactement là où elle est déjà la plus lourde.

2. Risque de fuite de données au niveau de la lésion. HAM10000 contient plusieurs images d’une même lésion — le jeu de données est explicitement livré avec un identifiant de lésion précisément pour permettre de regrouper ces doublons. Le papier n’écrit que « échantillonnage stratifié », sans un mot sur un regroupement par lésion ou par patient. Si la partition est faite au niveau de l’image, des vues quasi identiques d’une même lésion se retrouvent des deux côtés de la frontière train/test, et l’exactitude mesurée intègre une part de mémorisation. C’est le mode d’échec le plus documenté de ce jeu de données. Il n’est ni traité, ni mentionné, ni écarté.

3. Aucun comparateur, aucune ablation, une seule exécution. Il n’existe pas de table de comparaison avec la littérature. Il n’existe pas de résultat pour chacun des trois modèles pris isolément, donc rien ne démontre que l’ensemble apporte quoi que ce soit. Il n’existe pas d’ablation du MC Dropout, de la focal loss ou de l’échantillonnage pondéré, ni de comparaison avec un rejet par simple seuil de softmax — la ligne de base évidente. Une seule graine aléatoire, aucun intervalle de confiance, aucun test statistique, alors que les précisions de 1,00 annoncées pour df et vasc reposent respectivement sur 16 et 26 images. Aucune validation externe sur une seconde cohorte, ce que les auteurs reconnaissent en deux lignes de conclusion. Aucune analyse de calibration — ni erreur de calibration attendue, ni diagramme de fiabilité — alors même que le papier vend la qualité de son estimation d’incertitude. Et sur la transparence : ni code, ni poids, ni affiliation institutionnelle lisible, ni déclaration de financement, ni déclaration de conflits d’intérêts.

Deux réserves secondaires, qui n’en sont pas moins structurantes. Le biais de population : HAM10000 provient de deux sources, Vienne et le Queensland, c’est-à-dire de populations très majoritairement à peau claire ; rien ne dit comment le modèle se comporte sur des phototypes foncés, où le mélanome est plus rare mais diagnostiqué plus tard. L’interprétabilité comme figure de style : les cartes Grad-CAM++ ne sont évaluées par aucune métrique de localisation, aucune étude de lecture par des cliniciens, et les quatre exemples montrés sont tous des cas correctement classés — aucun échec n’est illustré. Elles sont de surcroît calculées sur MaxViT-Tiny seul, et n’expliquent donc pas le prédicteur réellement évalué, qui est la moyenne des trois modèles.

Ce que ça change

Pour la communauté de recherche. Ce préprint est un cas d’école utile, moins pour ce qu’il propose que pour ce qu’il illustre. La prédiction sélective devient rapidement le cadre par défaut de l’IA diagnostique, et elle arrive avec une exigence de rapportage que la communauté imagerie n’a pas encore intégrée : la couverture est une métrique, pas un détail d’implémentation. La norme minimale devrait être une courbe risque-couverture, ou au moins un triplet (exactitude, couverture, taux de rejet par classe) — c’est peu coûteux à produire et cela rend les chiffres à nouveau comparables. Un relecteur devrait refuser tout tableau de performance sélective sans ces informations.

Pour les cliniciens. Rien, aujourd’hui. Un modèle entraîné et testé sur un seul jeu de données public, sans validation externe, sans code, sans poids, sans calibration et sans couverture rapportée n’est pas un objet évaluable en pratique. La question à poser à tout fournisseur qui présente un dispositif de ce type est simple et suffit à trier : sur quelle fraction des cas votre système accepte-t-il de se prononcer, et quelle est la performance sur les cas restants ? Un dispositif de tri ne se juge pas sur les cas qu’il trouve faciles.

Pour les patients et le grand public. Un chiffre d’exactitude annoncé sans son périmètre ne veut rien dire. « 96 % d’exactitude » peut désigner un modèle qui a raison 96 fois sur 100 sur tous les cas, ou un modèle qui a raison 96 fois sur 100 sur les trois quarts des cas qu’il a choisis — et laisse le reste à un humain. Dans le second cas, le chiffre décrit autant la sélection que la performance. C’est une question à poser systématiquement, y compris aux applications grand public de photographie de grains de beauté, qui appuient régulièrement leur communication sur ce type de métriques.

Pour aller plus loin

Tatakoto ne fournit pas de conseil clinique individuel. Cet article décrit et critique une publication scientifique ; il ne recommande aucun outil ni aucune conduite diagnostique.