Mélanger des jeux de données de mammographie n'améliore pas le dépistage par IA : quand le modèle apprend la « signature » du dataset au lieu du cancer
Une équipe de la Memorial University of Newfoundland (Canada) a testé une intuition tenue pour évidente : ajouter des cancers confirmés par biopsie issus de bases publiques à un vrai jeu de dépistage devrait améliorer un modèle de tri mammographique. En entraînant un même classifieur sur la base de dépistage NLBSD (5 997 examens, 1,29 % de cas suspects) puis en y ajoutant les cas positifs de CBIS-DDSM et CMMD, les auteurs observent l'inverse : la performance chute à chaque ajout, et un test diagnostique révèle pourquoi — le modèle sépare presque parfaitement les images selon leur base d'origine (AUC 0,9998), preuve qu'il apprend la « signature » du jeu de données plutôt que la pathologie.
Le contexte
Le dépistage mammographique cherche des cancers rares dans une population en bonne santé : chez les femmes de la tranche d'âge concernée, la prévalence des anomalies vraiment suspectes tourne autour de 1 %. C'est ce qui rend la tâche si difficile pour un modèle d'apprentissage automatique — les signaux à détecter sont rares, discrets, et noyés sous une écrasante majorité d'examens normaux. Pour entraîner une IA de tri (séparer « normal » de « suspect »), il faudrait donc des données qui ressemblent à cette réalité. Or elles manquent cruellement : la plupart des bases publiques de mammographie — comme CBIS-DDSM ou CMMD — sont des collections « enrichies en anomalies », bâties à partir de cas déjà biopsiés, où les cancers sont nombreux et souvent bien visibles, sans presque aucun examen normal de dépistage.
D'où une idée qui paraît de bon sens et qu'on lit un peu partout : puisque les cas positifs sont rares, autant compléter son jeu de dépistage avec ces cancers confirmés venus d'ailleurs. Plus de positifs, meilleur détecteur. L'équipe de la Memorial University of Newfoundland met cette intuition à l'épreuve, en s'appuyant sur une ressource inhabituelle : la NLBSD (Newfoundland and Labrador Breast Screening Dataset), l'un des rares jeux publics à représenter une vraie cohorte de dépistage, avec son étiquetage « normal / suspect » et sa faible prévalence. La question, précise, est : ajouter des cancers de CBIS-DDSM et de CMMD à la NLBSD améliore-t-il la détection sur la NLBSD ? Pour mesurer, les auteurs utilisent l'AUC (aire sous la courbe ROC), un score entre 0,5 et 1 qui dit à quel point le modèle sépare un cas suspect d'un cas normal : 0,5 c'est le hasard, 1 c'est la perfection.
La méthode
Le dispositif est volontairement simple et contrôlé — l'objectif n'est pas de battre un record, mais d'isoler une cause. Comme extracteur de caractéristiques, les auteurs prennent un EfficientNet-B5 initialisé avec les poids Mammo-CLIP (un modèle pré-entraîné spécifiquement sur de la mammographie) et le gèlent : ses paramètres ne bougent pas. Seule une petite tête de classification linéaire est entraînée par-dessus — un montage appelé linear probe, ou « sonde linéaire », qui teste ce que la représentation figée du modèle contient déjà, sans la réajuster à la tâche. C'est un choix méthodologique fort : si un signal apparaît, il est inscrit dans la représentation générale, pas fabriqué par un réajustement opportuniste.
Trois jeux de données entrent en scène. La NLBSD fournit 5 997 examens de dépistage (incidences CC et MLO des deux seins), avec une prévalence de cas suspects de 1,29 % (149 sur 5 997) — le reflet de la vraie vie. CBIS-DDSM (1 644 cas issus de films argentiques numérisés) et CMMD (3 712 images de 1 775 patientes, en numérique natif) apportent uniquement leurs cas anormaux confirmés par biopsie. Point crucial : dans toutes les expériences, les cas négatifs viennent exclusivement de la NLBSD ; les bases externes ne servent qu'à ajouter des positifs.
Tous les jeux passent par exactement le même prétraitement : conversion DICOM identique, normalisation de l'intensité image par image dans une même échelle, détourage du sein, mise en orientation commune. L'idée est de neutraliser les différences « de surface » pour que tout écart de performance traduise une vraie différence de domaine, pas un artefact de mise en forme. Les découpages entraînement / validation / test (70/10/20) sont faits au niveau du patient, si bien qu'aucune image d'une même personne ne se retrouve à la fois dans l'entraînement et le test — c'est la précaution qui évite le data leakage (fuite de données), ce biais où le modèle « triche » en revoyant au test des cas vus à l'entraînement. La performance est mesurée par l'AUC au niveau de l'image, avec intervalles de confiance par bootstrap et comparaisons par le test de DeLong, corrigées pour comparaisons multiples (Holm). Enfin, une expérience diagnostique détourne le même montage : au lieu de prédire « normal / suspect », on demande au modèle de deviner de quelle base provient chaque image.
Les résultats
Le meilleur modèle est celui qui n'a rien ajouté. Entraîné et évalué sur la seule NLBSD, il atteint une AUC de 0,737 (IC 95 % 0,686–0,785). Ajouter des positifs externes dégrade la performance à chaque fois, et de plus en plus : 0,644 avec les cancers de CMMD (−0,093), 0,640 avec ceux de CBIS-DDSM (−0,097), et 0,620 en combinant les deux (−0,117). La chute est monotone — plus on ajoute de sources, plus on perd — et statistiquement significative (p corrigés de 0,015, 0,005 et < 0,001). Évaluer sur des jeux de test « mixtes » incluant des positifs externes ne renverse rien : 0,653, 0,651, 0,648, jamais au-dessus de la référence.
La traduction clinique est le vrai avertissement. À seuil de décision fixe, le modèle de base équilibrait sensibilité et spécificité (0,66 chacune). Les modèles enrichis gardent leur spécificité mais voient leur sensibilité tomber à 0,53–0,55 — autrement dit, ils manquent environ 45 à 47 % des cas suspects, contre 34 % pour la référence. En dépistage, c'est exactement la mauvaise direction : on veut au contraire rater le moins de cancers possible, quitte à rappeler quelques femmes de plus. Ajouter naïvement des données a donc à la fois abaissé la discrimination et déplacé le curseur du côté dangereux.
Pourquoi ? L'expérience diagnostique le montre sans ambiguïté. Quand on lui demande de prédire la base d'origine plutôt que la pathologie, le modèle sépare les trois jeux presque parfaitement : F1 supérieur à 0,98 pour chaque base, AUC moyenne de 0,9998, diagonale de confusion à 99,7 / 98,8 / 100,0 %. Malgré un prétraitement rigoureusement identique, chaque dataset porte une « signature » que le réseau lit les yeux fermés. C'est la définition même du shortcut learning (apprentissage de raccourci) : plutôt que d'apprendre le concept difficile — le cancer discret d'une population de dépistage —, le modèle s'accroche à un indice facile et parasite : d'où vient l'image. Les auteurs rappellent le précédent devenu classique d'un modèle de radiographie thoracique capable de reconnaître l'hôpital d'origine, et généralisant mal pour cette raison même.
Ce qui est bien
Un protocole qui isole une cause. Tout est tenu constant — architecture, optimisation, prétraitement — et seule la composition des données d'entraînement varie. Le découpage au niveau du patient écarte proprement le data leakage, et le choix d'un encodeur gelé renforce la conclusion : la séparabilité quasi parfaite des bases n'est pas fabriquée par un réajustement à la tâche, elle est déjà présente dans une représentation mammographique générale. On peut donc affirmer une cause — le domaine des données ajoutées — là où une simple comparaison de modèles resterait ambiguë.
Un ancrage clinique honnête. Les auteurs partent d'une vraie cohorte de dépistage (NLBSD) et non d'une base enrichie plus confortable, et situent loyalement leur travail : sans pré-entraînement mammographique, un travail antérieur plafonnait à une AUC de 0,6209 sur la NLBSD (contre 0,905 sur la petite base curée INbreast) ; en partant de Mammo-CLIP, ils obtiennent une base plus solide (0,737), qu'ils prennent comme point de départ. Le comparateur est donc explicite et daté, pas un homme de paille.
Transformer l'échec en démonstration. Plutôt que de constater la contre-performance et de s'arrêter là, les auteurs construisent le test « devine la base » qui met le doigt sur le mécanisme. C'est de la bonne hygiène : nommer le mode d'échec (shortcut learning), le mesurer, et le relier à un phénomène documenté ailleurs en imagerie médicale.
Ce qui est moins bien
Un seul modèle, une seule manière de l'entraîner. Tout repose sur un EfficientNet-B5 + Mammo-CLIP gelé, avec une sonde linéaire et une simple entropie croisée. Les auteurs le reconnaissent : un réajustement complet de l'encodeur, des modèles multi-vues, ou des objectifs pensés pour le déséquilibre de classes pourraient se comporter autrement. Et la performance absolue reste modeste — une AUC de 0,737 n'est pas un outil déployable, mais un banc d'essai. Le résultat porte sur « ce montage-là », pas sur toute IA mammographique.
Des chiffres à manier avec précaution. Les auteurs signalent eux-mêmes que le test au niveau de l'image traite comme indépendantes les quatre incidences corrélées d'un même examen, ce qui rend les p-values « un peu optimistes » — c'est la classique métrique trompeuse, ici honnêtement désamorcée, mais qui invite à ne pas surinterpréter les seuils de significativité (l'ordre monotone des résultats, lui, ne dépend pas de cette hypothèse). Quant à l'AUC de 0,9998 du test d'origine, elle mesure une séparabilité de datasets, pas un devenir clinique : spectaculaire, mais à ne pas lire comme une performance de diagnostic.
Une généralisation encore à établir. La NLBSD, si précieuse soit-elle, reflète une seule population, un seul parc d'appareils, un seul protocole régional (Terre-Neuve-et-Labrador). Rien ne dit encore que la même dégradation s'observerait sur d'autres vraies cohortes de dépistage, ni comment elle se répartit par sous-groupes (âge, densité mammaire, appareil) — ce biais de population n'est pas cartographié. Il n'y a pas de validation prospective, et il s'agit d'un préprint non encore relu par les pairs, soumis à une revue mais pas publié.
Ce que ça change
Pour la communauté de recherche, le message est net : entasser des bases hétérogènes n'est pas gratuit, c'est souvent contre-productif. La quantité de données ne compense pas leur désalignement de domaine ; il faut des stratégies explicites — harmonisation des intensités, adaptation de domaine, modèles conditionnés au site, augmentation simulant les variations d'acquisition — avant d'espérer qu'un cancer venu d'ailleurs aide vraiment. Au passage, l'étude explique pourquoi les nombreuses bases de mammographie restent des îlots : faute de méthode pour franchir les frontières d'acquisition, elles ne forment pas une ressource unique.
Pour les cliniciens et les décideurs, c'est un antidote à un argument de vente courant. Qu'un fournisseur annonce un modèle « entraîné sur des dizaines de milliers de mammographies issues de multiples bases » ne garantit rien : si ces bases ne ressemblent pas à la population dépistée, l'ajout peut dégrader la sensibilité là où elle compte. La bonne question n'est pas « combien de cas ? » mais « ces cas ressemblent-ils à mes patientes, sur mes machines ? ». Un outil de dépistage doit être validé sur une distribution de dépistage.
Pour les patientes et le grand public, l'étude déboulonne l'idée que « plus de données » égale « IA plus sûre ». Un modèle peut sembler apprendre le cancer alors qu'il apprend en réalité à reconnaître l'appareil ou la provenance de l'image — un raccourci invisible qui s'effondre en conditions réelles. La sûreté d'une IA de dépistage ne se déduit pas de la taille de son entraînement : elle se démontre sur la population réellement concernée.
Pour aller plus loin
Le préprint « Dataset-Origin Signatures and Shortcut Learning in Screening Mammography AI: A Cross-Dataset Case Study » est disponible sur arXiv (2607.15416), déposé le 16 juillet 2026 par Parham Hajishafiezahramini, Matthew Hamilton, Oscar Meruvia-Pastor et Edward Kendall (Memorial University of Newfoundland, Canada) et soumis à Computerized Medical Imaging and Graphics ; le travail a été financé par le Seed, Bridge, and Multidisciplinary Fund de l'université, sans conflit d'intérêts déclaré. Les données sont publiques (NLBSD via le Federated Research Data Repository ; CBIS-DDSM et CMMD via The Cancer Imaging Archive). Sur la mammographie par IA et les angles morts de la généralisation, voir nos décryptages sur l'évaluation de la détection de masses selon la densité mammaire, sur les biais cachés par sous-groupes dans l'imagerie médicale, et sur la robustesse et la généralisation des foundation models.
Transparence éditoriale : version française rédigée et signée par la rédaction de Tatakoto à partir de la lecture du préprint. Traductions anglaise, espagnole et chinoise produites avec assistance IA et relues.