Étiquettes issues des comptes rendus contre relecture d’images : sur la cardiomégalie dans MIMIC-CXR, l’accord est quasi nul

Yesika Alexandra Agudelo-Londoño et ses collègues ont fait relire par des radiologues 2 160 radiographies thoraciques de MIMIC-CXR — la base publique qui sert de socle à une grande partie de l’IA en imagerie thoracique — puis ont comparé cette lecture aux étiquettes fournies par la base, extraites automatiquement des comptes rendus. Pour la cardiomégalie, l’accord est quasi nul : un kappa de Cohen de 0,011, et l’étiquette ne retrouve que 1,3 % des cas confirmés par les experts, l’écrasante majorité des désaccords venant d’une simple omission dans le compte rendu et non d’une négation explicite. Le résultat n’accuse pas les extracteurs de texte : il montre qu’un compte rendu de radiologie n’est pas l’inventaire de ce qui est visible sur l’image, et que le supposer revient à entraîner des modèles sur une cible mal définie.

Le contexte

Quelques bases publiques portent aujourd’hui l’essentiel de la recherche en IA sur la radiographie thoracique : MIMIC-CXR, CheXpert, ChestX-ray14, PadChest. Ensemble, elles fournissent des millions d’images associées à des étiquettes de pathologie et servent aussi bien à entraîner des classifieurs qu’à préentraîner des foundation models (grands modèles génériques réutilisables par ajustement) et des modèles vision-langage.

Ces étiquettes ne proviennent presque jamais d’une relecture des images. Elles sont extraites automatiquement du texte des comptes rendus par des outils de traitement du langage — le CheXpert labeler et NegBio, qui repèrent la mention d’un signe et déterminent s’il est affirmé, nié ou incertain. Sans ce procédé, aucune base de cette taille n’existerait.

Le problème est en amont de l’outil. Un compte rendu de radiologie n’est pas un relevé exhaustif : c’est un document clinique qui répond à une question posée par un prescripteur. En hospitalisation aiguë, le radiologue documente ce qui motive l’examen et ce qui a changé ; un cœur gros mais stable depuis dix ans peut ne pas être mentionné du tout. L’étiquette qui en découle encode donc autant une pratique de rédaction qu’une réalité radiographique. L’écart avait déjà été signalé — par VisualCheXbert, par la littérature sur la stratification cachée — sans que la pratique change : l’étiquette du dépôt reste traitée comme la vérité de terrain au niveau de l’image.

La méthode

Les auteurs proposent un cadre baptisé Repository Supervision Auditing (RSA, audit de la supervision d’un dépôt) qui prend pour objet non pas le modèle, mais le signal d’apprentissage lui-même, avant tout entraînement. Quatre étapes.

Une référence experte au niveau de l’image. 2 160 examens uniques (un patient, une venue) de MIMIC-CXR, restreints aux radiographies de face non portables de patients hospitalisés n’étant pas passés en réanimation. Des radiologues certifiés ont relu chaque examen DICOM avec toutes les incidences disponibles et le compte rendu, en annotant selon des terminologies normalisées (RadLex, SNOMED CT, Fleischner Society).

L’audit proprement dit. Les étiquettes de la base (CheXpert et NegBio) ont été binarisées avec une règle délibérément généreuse : « incertain » compte comme positif, « non mentionné » comme négatif. Le kappa de Cohen mesure l’accord entre deux évaluateurs en retranchant l’accord attendu par hasard : 0 signifie « pas mieux que le hasard », 1 l’accord parfait. La PPA est la sensibilité de l’étiquette — parmi les cas que l’expert voit, quelle proportion la base signale ; la NPA en est la spécificité, et la PPV la précision de l’étiquette. La cardiomégalie a été choisie comme signe index parce qu’elle se définit d’abord par la morphologie de la silhouette cardiaque sur l’image ; l’épanchement pleural et l’atélectasie servent de comparaisons.

La caractérisation des désaccords. Chaque faux négatif a été reclassé au niveau du texte en trois catégories : négation explicite dans le compte rendu, attribution de l’étiquette « No Finding » (rien à signaler), ou non-mention alors que d’autres anomalies sont documentées. La distinction est le cœur du papier : elle sépare une erreur d’interprétation du texte d’une pratique de rédaction.

Une cohorte reconstruite, puis un modèle. À partir de 14 200 examens réannotés, tous les cas confirmés ont été appariés à des témoins sur dix covariables. Le plus grand déséquilibre, mesuré par la différence moyenne standardisée, passe de 0,87 à 0,005. Un contrôle qualité appliqué directement aux fichiers DICOM a exclu les examens non frontaux, annotés ou mal exposés. Cohorte finale : 2 072 examens, 1 020 positifs et 1 052 négatifs, découpés sans chevauchement de patients en 1 453 / 311 / 308. Un DenseNet121 préentraîné sur sept bases publiques a été entièrement réajusté sur ces étiquettes expertes. Le seuil de décision (0,436) a été fixé sur la seule cohorte de validation.

Les résultats

L’étiquette de la base ne retrouve pas la cardiomégalie visible. Kappa de Cohen : 0,011 (IC 95 % 0,004–0,019), un accord indiscernable du hasard. Sur 1 080 examens où les radiologues voient une cardiomégalie, la base en étiquette 14 — une PPA de 1,3 %. CheXpert, NegBio et leur union donnent exactement le même résultat. À l’inverse, la PPV atteint 0,875 : quand la base dit « cardiomégalie », elle a presque toujours raison. L’étiquette est donc très précise et quasi aveugle, ce qui est la signature d’une cible tronquée plutôt que bruitée. Le défaut n’est pas uniforme pour autant : l’épanchement pleural obtient un kappa de 0,319 (PPA 21,7 %) et l’atélectasie 0,120 (PPA 7,9 %) — mieux, mais loin d’un accord acceptable.

Le désaccord vient de l’omission, pas de la négation. Sur 1 066 faux négatifs, seulement 55 (5,2 %) correspondent à une négation explicite. Les 1 011 autres (94,8 %) viennent d’une absence de mention, dont 979 sous l’étiquette « No Finding ». Autrement dit : parmi les 1 998 examens que la base déclare sans anomalie, les experts voient une cardiomégalie dans 979 — près d’un sur deux. Les extracteurs de texte font correctement leur travail ; c’est le texte qui ne contient pas l’information.

Sur la cohorte auditée, un modèle standard fonctionne. Le DenseNet121 atteint une ROC-AUC de 0,853 (IC 95 % 0,803–0,893) et une PR-AUC de 0,824 sur le test tenu à l’écart, avec une sensibilité de 0,862 et une spécificité de 0,705. La calibration est moyenne (score de Brier 0,162, erreur de calibration attendue 0,099), sans différence significative selon l’âge ou le sexe, et les cartes Grad-CAM concentrent l’attention sur la silhouette cardiaque plutôt que sur les dispositifs implantés.

Traduction clinique. Sur 1 000 radiographies présentant la même proportion de cardiomégalies que cette cohorte — environ une sur deux, ce qui est très au-dessus d’un flux réel —, le modèle en signalerait environ 431 sur 500 et en manquerait 69, au prix de 148 faux positifs parmi les 500 examens normaux. Le point de comparaison est brutal : sur ces mêmes 500 cardiomégalies, l’étiquette du dépôt en signalerait 6 ou 7.

Ce qui est bien

Auditer la supervision avant de modéliser, et le chiffrer. L’idée que les étiquettes issues des comptes rendus sont imparfaites circule depuis des années sous forme de mise en garde générale. Ici elle devient une mesure, avec intervalles de confiance et un protocole explicite.

La décomposition des désaccords innocente les extracteurs. Distinguer négation explicite, « No Finding » et omission transforme un constat en diagnostic. La conclusion — 94,8 % d’omissions — déplace la cible : améliorer le traitement du langage sur les comptes rendus ne réglera rien pour la cardiomégalie, parce que l’information manque à la source. C’est le genre de précision qui évite dix ans d’efforts au mauvais endroit.

Les dés ont été chargés en faveur de la base, et elle échoue quand même. Traiter « incertain » comme positif est la règle la plus favorable possible à l’étiquette du dépôt.

Ce qui est moins bien

Un périmètre étroit, qu’il ne faut pas surinterpréter. Un seul dépôt, un seul hôpital source, un seul signe index audité en profondeur, et une population filtrée : radiographies de face non portables, patients hospitalisés hors réanimation. La référence experte couvre 52 signes mais seuls trois sont analysés. Rien ne garantit que l’effondrement observé sur la cardiomégalie se retrouve à l’identique dans CheXpert ou PadChest, dont les pratiques de rédaction diffèrent — un biais de population qui joue ici contre la généralisation du constat lui-même, et les auteurs le disent clairement.

Pas de comparateur pour le modèle. L’AUC de 0,853 flotte sans point de référence : aucun modèle entraîné sur les étiquettes du dépôt ne lui est opposé. Les auteurs s’en expliquent honnêtement — avec une PPA de 1,3 %, il n’existe pratiquement aucun cas positif pour entraîner un tel modèle sur la même cohorte —, mais la conséquence demeure : le bénéfice pratique de l’audit est postulé, pas démontré. Le comparateur absent est un mode d’échec plus discret que le comparateur faible, et tout aussi limitant.

Une cohorte trop propre, et un audit non vérifiable en l’état. Les 2 072 examens ont été appariés, équilibrés à 50/50 et nettoyés au niveau DICOM. C’est sain pour isoler l’effet étudié, mais cela produit une distribution qui n’a plus rien d’un flux clinique, où la prévalence réelle bien plus basse écraserait la valeur prédictive positive. Il n’y a ni validation externe ni évaluation prospective, la calibration reste moyenne, et rien n’indique que les annotations expertes, la liste des examens ou le code seront publiés — ce qui rend l’audit lui-même difficilement reproductible par un tiers. Sur les intérêts : le travail a été mené dans le programme d’imagerie de SURA, dont plusieurs auteurs sont salariés ou stagiaires, une coautrice est employée par IBM Research, le calcul a été fourni par Microsoft Azure ; aucun financement externe n’est déclaré.

Ce que ça change

Pour la communauté de recherche, c’est une invitation à relire une bibliographie entière. Un modèle qui obtient 0,9x d’AUC sur la cardiomégalie de MIMIC-CXR n’a pas appris à mesurer un rapport cardiothoracique : il a appris à prédire si le radiologue aurait mentionné le signe. Les deux tâches se recouvrent partiellement, et les scores publiés mesurent la seconde. La conséquence porte particulièrement sur les modèles vision-langage préentraînés par appariement image-texte, dont le signal est précisément ce texte — nous avons décrypté un travail montrant que chez ces modèles le texte domine largement l’image.

Pour les cliniciens, rien ne change aujourd’hui : ce papier n’évalue aucun dispositif déployé. Il fournit en revanche une question à poser à tout fournisseur d’outil de lecture de radiographies — sur quelle vérité de terrain le modèle a-t-il été entraîné, des comptes rendus ou une relecture d’images ? Pour les signes définis par la morphologie visible, la réponse n’est pas un détail technique.

Pour les patients et le grand public, la leçon est plus générale : la performance d’une IA médicale est bornée par la qualité de ce qu’on lui a appris à imiter. Quand un communiqué annonce qu’un modèle « détecte une anomalie avec 95 % de précision », la vraie question n’est pas le chiffre, mais ce contre quoi il a été mesuré — comme pour les biais invisibles des jeux de données d’imagerie, abordés dans nos décryptages sur les sous-groupes défavorisés et les signatures de dataset en mammographie.

Pour aller plus loin

Le préprint : Yesika Alexandra Agudelo-Londoño et al., When Repository Labels Are Not Image-Level Truth: A Supervision Auditing Framework for Chest Radiograph AI, arXiv:2608.10084 (2026), accepté en oral au workshop EMERGE de MICCAI 2026. La base auditée : MIMIC-CXR-JPG, en accès accrédité via PhysioNet. Les extracteurs mis en cause : CheXpert et NegBio.