Quand la densité mammaire fausse l'évaluation des IA de dépistage : le banc d'essai Mass-Bench et la dégradation cachée (Mathematics, 2026)

Publié le 10 juin 2026 dans la revue Mathematics, ce travail mexicain construit Mass-Bench, un banc d'essai qui réunit quatre jeux de données publics de mammographie (32 930 images, 8 245 patientes) pour mesurer comment des modèles d'IA détectent et classent les masses du sein — non pas globalement, mais en stratifiant par densité mammaire. Le résultat central : la performance se dégrade systématiquement à mesure que le sein devient dense, une faiblesse que les évaluations habituelles, faites sur des jeux de données déséquilibrés, masquent et transforment en optimisme trompeur. La démonstration est utile et le problème réel — mais le papier reproduit lui-même certains des défauts qu'il dénonce, entre un chiffre d'accroche introuvable dans ses propres tableaux, des cases de test à une seule image, et aucun code publié pour un objet qui se présente pourtant comme un « benchmark ».

Le contexte

Le dépistage du cancer du sein par mammographie a un ennemi bien connu des radiologues : la densité mammaire. Un sein « dense » contient beaucoup de tissu fibroglandulaire, qui apparaît blanc sur la mammographie — exactement la couleur d'une masse suspecte. Une tumeur s'y cache alors comme un flocon dans une tempête de neige. Le système de classification ACR (American College of Radiology) gradue cette densité de A (sein graisseux, lisible) à D (sein extrêmement dense, difficile), souvent codé de 1 à 4. Plus on monte, plus la sensibilité de la mammographie chute, pour l'œil humain comme — c'est l'hypothèse du papier — pour les algorithmes.

Or la quasi-totalité des IA de détection de masses sont évaluées sur des chiffres globaux : une AUC unique, une sensibilité moyenne, sur un jeu de données dont la composition en densités n'est ni contrôlée ni représentative de la population réelle. Si ce jeu contient surtout des seins peu denses, faciles, le modèle paraîtra excellent — et s'effondrera silencieusement sur les patientes à seins denses, précisément celles pour qui un outil d'aide serait le plus précieux. C'est ce biais d'évaluation que l'étude cherche à rendre visible, en proposant un protocole qui mesure la performance par catégorie de densité plutôt qu'en un seul chiffre agrégé.

La méthode

Le travail (DOI 10.3390/math14122080), signé par Hector E. Zepeda-Reyes et Hayde Peregrina-Barreto (INAOE, Mexique) et Gabriela C. Lopez-Armas (CETI, Guadalajara), construit d'abord Mass-Bench, un assemblage de quatre bases publiques de mammographie sous un schéma d'annotation unifié : CBIS-DDSM (États-Unis), INBREAST (Portugal), VinDr-Mammo (Vietnam) et DMID (Inde). Au total 8 245 patientes, 32 930 images et 3 480 masses annotées, chacune dotée de sa catégorie de densité ACR (1-4) et de son score BI-RADS (le Breast Imaging Reporting and Data System, l'échelle standard de suspicion radiologique, de 2 « bénin » à 5 « hautement suspect »).

Sur ce socle, deux tâches. La détection des masses d'abord, confiée à trois versions du détecteur YOLO (« You Only Look Once », une famille de réseaux qui localisent des objets dans une image en une seule passe) — YOLOv5, v8 et v11. La classification ensuite, à la fois de la densité et du BI-RADS, sur des imagettes centrées sur la lésion. Pour cette seconde tâche, les images sont transformées en vecteurs numériques par quatre réseaux pré-entraînés servant d'extracteurs de caractéristiques (VGG19, ResNet50, DenseNet121, EfficientNet-B3, non réentraînés), complétés par des descripteurs « faits main » (statistiques de texture classiques), puis classées par cinq algorithmes standard (régression logistique, SVM, k plus proches voisins, forêt aléatoire, XGBoost).

Deux choix méthodologiques méritent d'être salués d'emblée. Les découpages apprentissage/validation/test (70/20/10) sont fixés au niveau de la patiente, avant tout pré-traitement, pour éviter qu'une même femme se retrouve des deux côtés — la parade au data leakage (fuite de données), où le modèle « triche » en revoyant au test des cas vus à l'entraînement. Et les auteurs quantifient le déséquilibre de densité de chaque base par une divergence de Kullback-Leibler (KL, une mesure de l'écart entre deux distributions) face à une référence clinique plausible (10 % A, 40 % B, 40 % C, 10 % D). Verdict : VinDr-Mammo (0,57) et INBREAST (0,45) sont très éloignés de cette réalité, là où Mass-Bench (0,04) s'en rapproche.

Les résultats

Côté détection, YOLOv11 arrive en tête sur Mass-Bench avec un mAP@50 de 0,663 (le mAP, mean Average Precision, mesure la qualité de localisation ; @50 signifie qu'une boîte compte comme juste si elle recouvre la vraie lésion à au moins 50 %) et un mAP@50-95 de 0,335, devant v8 (0,646) et v5 (0,598). Mais le chiffre d'accroche du résumé — une AUC « jusqu'à 0,943 » — provient d'un seul cas : YOLOv8 sur DMID. Les autres bases sont plus modestes (CBIS-DDSM 0,671, VinDr-Mammo 0,801).

Côté dégradation par densité, le cœur du propos, le signal est net sur VinDr-Mammo : le F1-score de détection passe de 0,750 pour un sein peu dense (ACR 2) à 0,571 pour un sein très dense (ACR 4). La tendance — moins de réussite quand la densité monte — se retrouve d'une base à l'autre, ce qui valide l'inquiétude de départ : un chiffre global lisse cette chute et la rend invisible.

Côté classification, la densité binaire (peu dense contre dense) se classe plutôt bien (exactitude de 0,90 sur Mass-Bench, 0,95 sur VinDr-Mammo), et le BI-RADS binaire (bénin contre suspect) atteint 0,90 sur Mass-Bench et 0,93 sur DMID. En revanche, la classification multi-classes du BI-RADS — distinguer finement les grades 2, 3, 4 et 5 — reste fragile, tombant à 0,53 d'exactitude sur CBIS-DDSM. Traduction clinique : trier grossièrement « à surveiller » contre « rien d'alarmant » est à portée ; reproduire le jugement nuancé d'un radiologue qui attribue un grade précis ne l'est pas — et c'est ce jugement nuancé qui déclenche ou non une biopsie.

Ce qui est bien

Un protocole qui rend visible un biais réel. Mesurer la performance par catégorie de densité plutôt qu'en un seul chiffre agrégé n'est pas une coquetterie : c'est exactement la discipline qui manque à la plupart des publications du domaine, et la démonstration que la performance s'effondre sur les seins denses est le genre de constat utile à qui lit des annonces d'AUC mirobolantes.

Un soin honnête contre la fuite de données. Le découpage au niveau de la patiente avant tout traitement, et l'exigence de cohérence géométrique des annotations entre bases, sont des précautions souvent négligées. Elles rendent les chiffres plus crédibles que la moyenne de la littérature.

La quantification explicite du déséquilibre. Chiffrer par la divergence KL à quel point chaque base s'écarte d'une distribution clinique plausible donne au lecteur un outil concret pour juger : un modèle entraîné sur VinDr-Mammo, très éloigné de la réalité, ne doit pas être cru sur parole en dehors de son terrain.

Ce qui est moins bien

Un chiffre d'accroche introuvable et des cases à une image (mode d'échec : la métrique trompeuse). Le résumé annonce un F1 « jusqu'à 0,976 » en classification de densité, mais le meilleur F1 des tableaux récapitulatifs plafonne à 0,951 : l'accroche s'appuie sur un pic de configuration absent du bilan. Pire, certaines performances « quasi parfaites » reposent sur des cases de test minuscules — un F1 de 0,999 calculé sur une seule image de catégorie ACR 4. Les auteurs le reconnaissent à demi-mot, mais le résumé n'en garde que le superlatif.

Un sous-effectif des seins denses qui affaiblit la thèse (mode d'échec : le biais de population). Le papier veut alerter sur la sous-représentation des seins denses — mais ses propres bases en souffrent, et les catégories ACR 4 contiennent par endroits une poignée d'exemples. Démontrer une dégradation sur des effectifs aussi faibles, c'est mesurer le problème avec l'instrument qui en est victime : la conclusion est plausible, mais sa solidité statistique reste limitée.

Un « benchmark » sans code ni poids publiés (mode d'échec : reproductibilité). Mass-Bench se présente comme un banc d'essai réutilisable, mais aucun dépôt de code, aucun script de curation, aucun modèle entraîné n'est publié — seuls les quatre jeux sources sont listés. Reproduire l'assemblage exige de tout refaire à la main. S'y ajoutent l'absence de toute déclaration de financement et le recours, mentionné par les auteurs, à ChatGPT (GPT-5) pour « la génération de tableaux » — un détail qui, vu l'écart entre le résumé et les tableaux, n'est pas tout à fait anodin.

Ce que ça change

Pour la communauté de recherche, le message méthodologique est juste et réutilisable, même si l'outil l'est moins : il faut cesser de publier des AUC globales et stratifier systématiquement par densité — et plus largement par sous-population. C'est une exigence d'évaluation, pas un nouveau modèle.

Pour les cliniciens, rien ne change dans la salle de lecture aujourd'hui. Le travail est rétrospectif, sur images publiques, sans validation prospective ni comparaison à des radiologues : il ne dit pas qu'un outil est prêt, il dit comment juger ceux qu'on vous présentera. Le réflexe utile : demander la performance sur les seins denses, pas la moyenne.

Pour les patientes et le grand public, l'enseignement est simple et durable : une IA de dépistage « performante en moyenne » peut l'être beaucoup moins sur les seins denses, qui sont aussi ceux où le cancer est le plus difficile à voir. La promesse d'un second regard automatisé reste crédible, mais sa valeur dépend entièrement de la population sur laquelle on l'a réellement mesuré.

Pour aller plus loin

L'article complet est en accès libre dans Mathematics, 2026, 14(12), 2080 (DOI 10.3390/math14122080), sous licence CC BY 4.0, avec des courbes ROC en matériel supplémentaire. Les quatre bases assemblées sont publiques : CBIS-DDSM (TCIA), INBREAST (sur demande), VinDr-Mammo (PhysioNet) et DMID (Figshare). Pour le cadre de la densité mammaire et du BI-RADS, l'atlas BI-RADS de l'American College of Radiology reste la référence.