médical IA

OmniBreast : neuf tâches du cancer du sein prédites depuis une mammographie et une lame HES, pour un gain de 0,009 d'AUROC qui ne survit pas à la correction pour tests multiples

Publié le 25 août 2026 · 14 min lecture

Dix auteurs de l'Hôpital affilié n° 1 de l'Université médicale de Bengbu, du Harbin Institute of Technology et de l'Universiti Malaya ont entraîné, sur 923 patientes atteintes d'un cancer du sein, un système qui prédit neuf variables cliniques — les trois composantes TNM, le stade, le grade histologique et les statuts RE, RP, HER2 et Ki-67 — à partir d'une seule mammographie et d'une seule lame colorée à l'hématoxyline-éosine. Leur mécanisme central, un routage d'experts conditionné à la tâche, améliore l'AUROC moyenne de 0,009 par rapport à une fusion fixe (IC 95 % 0,005–0,013 ; p = 0,011), mais aucune des neuf comparaisons tâche par tâche ne survit à la correction de Benjamini-Hochberg. Le chiffre le plus spectaculaire du résumé, 0,990 d'AUROC pour le stade M, repose sur environ sept patientes métastatiques dans un jeu de test de 185, et sur des images où la maladie métastatique n'est, par construction, pas visible.

Le contexte

La prise en charge d'un cancer du sein repose sur trois flux d'information qui n'arrivent ni au même moment ni dans le même document. L'imagerie — mammographie, échographie, IRM — détecte la lésion et estime son extension. L'examen anatomopathologique de la biopsie confirme le type et le grade. L'immunohistochimie, enfin, mesure les récepteurs aux œstrogènes (RE) et à la progestérone (RP), le statut HER2 et l'index de prolifération Ki-67, quatre marqueurs qui déterminent l'essentiel du traitement systémique. Chacun de ces flux fait l'objet d'un compte rendu séparé, et c'est en réunion de concertation pluridisciplinaire que la synthèse s'opère.

L'IA appliquée à ce parcours a suivi la même fragmentation. On a construit des modèles qui détectent un cancer sur mammographie, d'autres qui prédisent un grade histologique sur lame, d'autres encore qui infèrent un statut HER2. Chaque modèle a son propre entraînement, son propre critère, sa propre modalité d'entrée obligatoire. En pratique clinique, cette rigidité pose un problème banal mais réel : selon le moment du parcours, on dispose de l'imagerie sans la lame, ou de la lame sans l'imagerie complète.

La question posée par ce papier n'est donc pas seulement « comment fusionner radiologie et pathologie », mais « quand la fusion sert-elle à quelque chose ». Pour y répondre, les auteurs empruntent un mécanisme au vocabulaire des grands modèles de langage : le mélange d'experts (mixture of experts, MoE). Le principe est simple — plusieurs modèles spécialisés coexistent, et un petit réseau appelé gate décide, pour chaque cas, quel poids donner à chacun. Ici les experts sont au nombre de trois par tâche (radiologie seule, pathologie seule, fusion des deux), et le gate reçoit deux informations supplémentaires : quelle question clinique est posée, et quelles modalités sont réellement disponibles pour cette patiente.

La méthode

La cohorte. Étude rétrospective monocentrique. Sur 1 428 patientes traitées à l'Hôpital affilié n° 1 de l'Université médicale de Bengbu (Anhui, Chine) entre janvier 2016 et décembre 2023, 174 sont exclues d'emblée (absence de couple imagerie-pathologie apparié n = 86, étiquettes manquantes n = 48, doublons n = 19, images de mauvaise qualité n = 21), puis 331 de plus au fil de la curation (annotations incomplètes n = 103, prétraitement impossible n = 74, critères de curation non remplis n = 154). Il reste 923 patientes, soit 64,6 % du dépistage initial, réparties au niveau patient en 646 pour l'entraînement, 92 pour la validation et 185 pour le test réservé. Une seconde cohorte, indépendante, provient du Hunan Cancer Hospital : 394 patientes dépistées, 259 retenues.

Les entrées. Côté imagerie, uniquement des mammographies numériques plein champ pré-thérapeutiques, incidences craniocaudale et oblique médiolatérale, sur trois parcs constructeurs (Hologic 46 %, GE Healthcare 34 %, Siemens Healthineers 20 %), recadrées sur le sein, normalisées entre les 1er et 99e centiles et redimensionnées en 512 × 512 pixels. Aucun examen d'extension — pas de scanner, pas de TEP, pas de scintigraphie osseuse — n'est fourni au modèle, et aucun compte rendu textuel non plus. Côté pathologie, uniquement des lames entières colorées à l'hématoxyline-éosine, numérisées sur Leica Aperio AT2 au grossissement ×40 (environ 0,25 µm par pixel) puis exploitées à l'équivalent ×20 ; les lames d'immunohistochimie RE, RP, HER2 et Ki-67 ne sont pas données au modèle. Le tissu est isolé par seuillage d'Otsu, découpé en tuiles de 224 × 224 pixels dont on écarte celles contenant moins de 60 % de tissu, et 128 tuiles par patiente sont agrégées en une représentation unique par gated attention multiple-instance pooling — une pondération apprise qui décide quelles tuiles comptent dans le verdict global.

Les tâches et les modèles. Neuf questions binaires : T (Tis/T1 contre T2–T4), N (N0 contre N+), M (M0 contre M1), stade clinique (0–II contre III–IV), grade histologique (bas contre haut), et RE, RP, HER2, Ki-67 (négatif contre positif ou élevé). Pour chaque tâche et chaque modalité, cinq architectures convolutives sont entraînées — ResNet, DenseNet, EfficientNet, RegNet, MobileNetV3 — et la meilleure est retenue sur l'AUROC de validation. Cela fait quatre-vingt-dix modèles départagés sur 92 patientes. Trois graines aléatoires (42, 3407, 2024) sont utilisées, et le point de contrôle de meilleure AUROC de validation est conservé. La fusion fixe est un transformeur en fusion tardive qui consomme les deux vecteurs d'embarquement modaux. Le MoE appris ajoute un perceptron multicouche qui pondère les trois experts ; le MoE conditionné à la tâche lui adjoint un vecteur représentant la tâche demandée et un masque binaire de disponibilité des modalités, avec un modality dropout de 0,30 pendant l'entraînement. Les seuils opératoires sont fixés par indice de Youden sur la validation seule, puis gelés. Les comparaisons d'AUROC passent par un bootstrap apparié, avec correction de Benjamini-Hochberg sur les neuf p-valeurs par tâche.

Les résultats

La carte des modalités. C'est le résultat le plus intéressant du papier, et il est descriptif. La pathologie domine nettement pour l'atteinte ganglionnaire (AUROC 0,804 contre 0,606 pour la mammographie) et pour le Ki-67 (0,748 contre 0,625). La radiologie fait mieux pour HER2 (0,810 contre 0,795) et pour le stade clinique (0,735 contre 0,626). Les deux se valent pour le grade histologique (0,949 et 0,946). Autrement dit, la modalité la plus informative dépend de la question, pas d'une hiérarchie générale, et le paradoxe apparent — prédire une atteinte ganglionnaire depuis une lame de tumeur primitive, prédire HER2 depuis une mammographie — s'explique par des corrélations morphologiques indirectes, pas par une visualisation directe.

Les gains d'intégration. AUROC moyenne sur les neuf tâches : 0,813 pour le meilleur expert unimodal, 0,826 pour la fusion fixe, 0,830 pour le MoE appris, 0,834 pour le MoE conditionné à la tâche. Un sélecteur oracle, non déployable puisqu'il utilise les étiquettes de test, plafonne à 0,854. Le gain du MoE conditionné sur la fusion fixe est de 0,009 (IC 95 % 0,005–0,013 ; p = 0,011) ; celui de la fusion fixe sur le meilleur expert unimodal est de 0,012 (0,006–0,018 ; p = 0,008). Les ablations confirment que les deux ingrédients comptent un peu : retirer le vecteur de tâche fait passer la moyenne de 0,834 à 0,828, retirer le masque de disponibilité à 0,826.

Le test de robustesse aux données manquantes. C'est là que l'architecture justifie le mieux son existence. En masquant aléatoirement une modalité chez 30 %, 50 % puis 70 % des patientes du test, le MoE conditionné atteint 0,804, 0,793 et 0,779 d'AUROC moyenne, contre une fusion fixe à imputation par zéro qu'il dépasse de 0,032, 0,051 et 0,067. L'écart avec un routage par simple règle de disponibilité reste plus étroit : 0,015, 0,018 et 0,024.

Le comparateur clinique. Les auteurs construisent des modèles de référence sur cinq variables de routine (âge, statut ménopausique, densité mammaire, complétude des incidences, type histologique), en excluant systématiquement les variables qui définissent la cible. Régression logistique : 0,698 d'AUROC moyenne. XGBoost : 0,724. Le MoE conditionné les dépasse de 0,110 (IC 95 % 0,091–0,129 ; p < 0,001) et fait mieux sur les neuf tâches. Sur la cohorte externe, deux tâches d'extension : la prédiction de réponse complète histologique sur mammographie atteint 0,758 d'AUROC (contre 0,682 pour la référence clinique), et la prédiction de cancer triple négatif sur lame HES atteint 0,872 (contre 0,746).

La traduction clinique. Prenons HER2, l'exemple le plus parlant parce que c'est le marqueur qui décide de l'accès aux anti-HER2. Le meilleur modèle radiologique affiche une sensibilité de 76,7 % et une spécificité de 76,0 %. Projeté sur 1 000 patientes avec une prévalence HER2-positive de 20 %, ordre de grandeur usuel, cela donnerait environ 153 patientes HER2+ correctement identifiées, 47 manquées, et 192 patientes HER2-négatives signalées à tort. Ce calcul est une extrapolation à partir d'un test de 185 patientes, pas une mesure ; il suffit néanmoins à montrer qu'aucun de ces chiffres ne remplace une immunohistochimie, et les auteurs ne le prétendent pas.

Ce qui est bien

La sobriété du rapport, jusque dans le titre. Le titre annonce « internal validation », pas « validation ». Les analyses externes sont explicitement qualifiées de tests d'extension d'un critère de jugement, et non de validation externe des neuf tâches. La conclusion écrit noir sur blanc que « la performance interne élevée sur le stade M a été considérée comme exploratoire et nécessite une validation indépendante parce que la maladie métastatique à distance n'était pas directement représentée dans les entrées mammographiques ou HES ». Surtout, les auteurs appliquent une correction de Benjamini-Hochberg sur leurs neuf comparaisons tâche par tâche, rapportent que plus aucune n'est significative après correction (p ajustés tous ≥ 0,072), et en tirent eux-mêmes la conclusion que ces analyses sont exploratoires. Dans une littérature où le p-hacking par multiplicité des critères est la norme, cette discipline mérite d'être nommée.

L'oracle comme borne haute. Ajouter un sélecteur qui triche — il choisit le meilleur expert cas par cas en regardant l'étiquette du test — n'améliore aucune performance, mais informe considérablement le lecteur : il montre que même une politique de routage parfaite ne dépasserait pas 0,854 d'AUROC moyenne, contre 0,834 atteints. Toute la marge restante pour cette famille de méthodes sur ces données tient donc dans 0,020 d'AUROC. C'est une manière honnête et peu coûteuse de dire au lecteur où se situe le plafond, et elle est rare.

Le comparateur clinique existe, et il est construit proprement. Beaucoup d'articles d'imagerie s'arrêtent à « notre modèle atteint 0,83 ». Ici on demande explicitement si cinq variables de routine, passées dans une régression logistique et dans XGBoost, feraient aussi bien — la réponse est non, avec un écart de 0,110 et un intervalle de confiance étroit. Le soin apporté à l'exclusion des variables définitionnelles (les composantes TNM ne servent pas à prédire le stade, les résultats immunohistochimiques ne servent pas à prédire eux-mêmes) évite la fuite de cible qui rendrait la comparaison vide. Les auteurs déclarent d'ailleurs avoir renoncé aux modèles sur comptes rendus textuels pour cette raison précise : les comptes rendus contiennent l'information qui a servi à établir plusieurs étiquettes de référence.

Ce qui est moins bien

Sept patientes métastatiques portent le chiffre le plus visible du papier. Le résumé s'ouvre sur « une AUROC de 0,990 observée pour le stade M ». Or les métriques rapportées pour cette tâche — exactitude 0,962, F1 0,667, sensibilité 1,000, spécificité 0,961 sur 185 patientes — ne sont arithmétiquement cohérentes qu'avec environ sept patientes M1 et sept faux positifs. Une AUROC sur sept événements positifs n'est pas une mesure, c'est un intervalle très large résumé par son point central. S'y ajoute le problème de fond : la maladie métastatique à distance n'est pas dans l'image. Un modèle qui atteint 0,99 sur cette tâche à partir d'une mammographie apprend nécessairement un raccourci (shortcut learning) — une taille tumorale, une densité, un motif de prise en charge corrélés au statut M1 dans ce centre. Les auteurs le reconnaissent, mais dans la conclusion, à la page quinze ; le résumé, lui, reste inchangé, et c'est le résumé que liront les moteurs de réponse et les lecteurs pressés. C'est un cas d'école de métrique trompeuse sur classe rare.

Le mécanisme central du papier n'est pas démontré au niveau où il compte. Le MoE conditionné à la tâche gagne 0,009 d'AUROC moyenne sur une fusion fixe. Ce 0,009 est un agrégat de neuf tâches corrélées entre elles, estimé par bootstrap apparié sur les mêmes 185 patientes. Tâche par tâche, aucune différence ne résiste à la correction pour tests multiples. L'analyse de courbe de décision, la seule qui parle en bénéfice net plutôt qu'en discrimination, montre des courbes qui se chevauchent largement et des gains « faibles et dépendants de la tâche ». Il reste donc une contribution méthodologique intéressante et un résultat empirique dont l'ampleur, si on prend au sérieux le propre appareil statistique des auteurs, est indistinguable de zéro à l'échelle de chaque question clinique.

Quatre-vingt-dix modèles départagés sur 92 patientes, rien de reproductible, aucun lecteur humain. Cinq architectures × deux modalités × neuf tâches, plus trois graines par configuration, avec sélection sur une validation de 92 patientes puis évaluation sur 185 : le budget de sélection est important au regard de la taille des jeux. La déclaration de disponibilité renvoie aux auteurs correspondants — ni code, ni poids, ni données, aucun dépôt GitHub ou Hugging Face. Les mesures d'efficacité (latence, débit, mémoire) sont explicitement « simulées », pas mesurées sur matériel. Surtout, il n'y a aucune comparaison à un radiologue ni à un pathologiste : les auteurs indiquent que des lectures indépendantes et en aveugle n'étaient pas disponibles dans cette cohorte rétrospective, donc que l'étude de lecteurs n'a pas pu être menée. Le seul comparateur humain implicite est un modèle à cinq variables cliniques. Enfin, la cohorte est monocentrique, chinoise, sur trois parcs constructeurs : le déplacement de distribution entre scanners, protocoles de coloration et populations reste entièrement non testé pour les neuf tâches principales.

Ce que ça change

Pour la communauté de recherche. Deux enseignements, dont un qui n'est pas celui que le titre met en avant. Le premier est l'écart oracle : sur ces données, le routage parfait cas par cas vaut 0,854 et le routage appris 0,834. Investir davantage dans des architectures de routage sur des cohortes de cette taille revient à se disputer deux centièmes d'AUROC ; la marge est ailleurs, dans le volume et la diversité des données. Le second est la carte de complémentarité modale par tâche — pathologie pour le statut ganglionnaire et la prolifération, radiologie pour HER2 et le stade — qui est réutilisable indépendamment de l'architecture et mériterait d'être répliquée sur une cohorte multicentrique. À l'inverse, le protocole de reporting est copiable tel quel : correction pour tests multiples annoncée et respectée même quand elle détruit le résultat, oracle publié, analyses externes nommées pour ce qu'elles sont.

Pour les cliniciens. Rien ne change aujourd'hui, et les auteurs l'écrivent. OmniBreast n'est pas empaqueté comme dispositif, n'a pas de validation multicentrique, n'a pas d'évaluation prospective, et n'a jamais été comparé à un lecteur humain. Le chiffre le plus intéressant à retenir est probablement celui de la cohorte externe : 0,872 d'AUROC pour identifier un cancer triple négatif à partir d'une lame HES seule, sans immunohistochimie. C'est loin de la performance d'un panel IHC, mais suffisant pour imaginer un usage de triage dans des contextes où l'immunohistochimie est lente ou indisponible — et c'est exactement ainsi que les auteurs le positionnent, comme modèle auxiliaire et non comme remplacement. Le reste des neuf tâches reste, pour l'instant, de la démonstration de faisabilité.

Pour les patientes et le grand public. Une idée, et une méthode de lecture. L'idée : une mammographie et une lame de tissu contiennent, sur le plan statistique, une partie de l'information que l'on va chercher ailleurs par des examens dédiés — mais une partie seulement, et jamais avec la fiabilité de l'examen dédié. Prédire HER2 à partir d'une image reste faux pour environ une patiente sur quatre ; aucun de ces modèles n'annule une biopsie. La méthode de lecture, elle, vaut au-delà de ce papier : lorsqu'une performance annoncée porte sur un événement rare, la première question à poser n'est pas « combien vaut l'AUROC » mais « combien y avait-il de cas ». Ici la réponse était sept, et elle change complètement la façon de lire le 0,990 du résumé.

Pour aller plus loin