Radiographie thoracique : une carte de saillance « plausible » signale-t-elle une erreur du modèle dans un nouvel hôpital ? Non, la confiance du modèle fait mieux
Une équipe de la Nanyang Technological University (Singapour) teste si les cartes de saillance, ces cartes de chaleur affichées à côté d'une prédiction pour montrer « où le modèle regarde », permettent de repérer une erreur individuelle quand le modèle change d'hôpital. Sur deux modèles de radiographie thoracique évalués sur trois sites, la concentration de la carte sur le thorax ne distingue pas les bonnes alertes des mauvaises, et la confiance propre du modèle reste le meilleur signal, quoique modeste. Une carte qui paraît juste ne doit donc rassurer personne sur l'exactitude d'une alerte.
Le contexte
Les réseaux de neurones entraînés sur de grandes bases hospitalières lisent des radiographies du thorax à un niveau proche de celui des radiologues, tant qu'on les teste sur des données du même hôpital. Ailleurs, ils déraillent souvent, en partie parce qu'ils apprennent des raccourcis propres à un site (type d'appareil, position du patient, marquages) plutôt que la maladie : c'est le « shortcut learning ». Beaucoup d'erreurs sont silencieuses : une sortie fausse n'a pas l'air moins sûre d'elle qu'une sortie juste.
La réponse habituelle à cette opacité est la carte de saillance (saliency map), qui colorie les zones de l'image ayant le plus pesé dans la décision. Les recommandations internationales sur l'IA de confiance en santé (FUTURE-AI) citent l'explicabilité parmi leurs six principes. Or les travaux antérieurs ont surtout demandé si la carte « a l'air juste », pas si elle aide à détecter qu'une décision précise est fausse. C'est la question, dite de détection d'échec (failure detection), que posent ici Chapagai, Gurtatta et Cambria : existe-t-il, sans étiquette disponible, un signal indiquant qu'une prédiction est probablement erronée, et les cartes en fournissent-elles un meilleur que la confiance du modèle ?
La méthode
Les auteurs entraînent deux classifieurs sur NIH ChestX-ray14 (112 120 radiographies de face, 30 805 patients, 14 findings dont les étiquettes ont été extraites automatiquement des comptes rendus) : un DenseNet-121, réseau convolutionnel classique, et un ViT-B/16, un vision transformer, qui découpe l'image en carrés de 16 pixels et les traite par attention. Les tests portent sur 25 554 radiographies de trois sites : le test interne NIH (21 834 images, 6 161 patients), des radiographies de Stanford issues de CheXpert (720 images, 700 patients, consensus de 3 à 5 radiologues) et le test VinDr-CXR de deux hôpitaux de Hanoï (3 000 images de face, consensus de 5 radiologues). Douze findings sont harmonisés entre les trois jeux d'étiquettes, soit 303 768 décisions par modèle (une décision = une radiographie et un finding).
Une alerte est déclenchée quand la sortie du modèle dépasse un seuil réglé sur NIH. Les trois méthodes d'explication testées sont Grad-CAM (carte construite à partir des gradients de la dernière couche), LIME (modèle linéaire local approximé par perturbation de l'image) et SHAP (attribution d'importance inspirée de la théorie des jeux). Chaque explication est résumée par un seul nombre, l'« enrichissement anatomique » : la part de l'attribution tombant dans la région thoracique (poumons, cœur et culs-de-sac costo-diaphragmatiques, segmentés automatiquement par HybridGNet), divisée par la part de l'image que cette région occupe. Une attribution uniforme donne 1.
Trois hypothèses sont prédéfinies. H1 : les explications se concentrent moins sur le thorax dans un nouvel hôpital. H2 : les faux positifs ont des explications moins concentrées que les vrais positifs. H3 : ajouter l'enrichissement à la confiance améliore la détection d'erreurs hors du site d'entraînement. Le critère principal est l'AUROCf, aire sous la courbe ROC qui sépare les décisions justes des décisions fausses : 0,5 correspond à un score sans information.
Les résultats
En métriques ML : les deux modèles atteignent un AUROC macro interne de 0,847 (DenseNet-121) et 0,837 (ViT-B/16). Le classement des cas se transfère à peu près : sur les huit findings communs avec CheXpert, l'AUROC macro passe de 0,857 à 0,824 pour le DenseNet-121 ; il monte à 0,893 sur VinDr-CXR, ce que les auteurs attribuent à des étiquettes plus propres. Les seuils, eux, ne se transfèrent pas : sur CheXpert, la sensibilité du DenseNet-121 pour l'œdème tombe de 0,424 à 0,008, et le ViT-B/16 n'en détecte aucun.
Les cartes pointent rarement là où pointent les radiologues. Sur 520 findings CheXpert avec référence radiologue, le pic de Grad-CAM tombe dans la zone de référence dans 0,575 des cas pour le DenseNet-121 et 0,381 pour le ViT-B/16, contre 0,888 pour les radiologues. Pour la détection d'erreurs, l'AUROCf de l'enrichissement vaut 0,484 (DenseNet-121) et 0,524 (ViT-B/16) à NIH, contre 0,646 et 0,660 pour la marge de décision, c'est-à-dire la confiance. Hors de NIH, il reste proche du hasard, sauf pour le DenseNet-121 à VinDr-CXR (0,618, toujours sous les 0,685 de la marge). Ajouter l'enrichissement à la confiance ne gagne jamais plus de 0,011 d'AUROCf ; à VinDr-CXR il dégrade le DenseNet-121 (−0,0233). H3 n'est pas confirmée ; H2 ne l'est que très partiellement ; H1 l'est pour le DenseNet-121 au sein de chaque finding, mais dans les deux sens pour le ViT-B/16.
Traduction clinique : à VinDr-CXR, 56,6 % des alertes du DenseNet-121 sont fausses. Garder la moitié des alertes les plus confiantes ramène ce taux à 42,1 % ; garder la moitié aux cartes les plus concentrées le laisse à 50,3 %. À NIH, trier par enrichissement est même moins bon que de ne rien trier (64,8 % contre 63,6 %). Entre 47 % et 66 % des alertes sont fausses selon le site et le modèle.
Ce qui est bien
Premièrement, l'ampleur et la rigueur de l'évaluation externe : 303 768 décisions par modèle, deux pays, deux architectures, trois méthodes d'explication, des étiquettes de consensus de cinq radiologues sur les deux sites externes, et des hypothèses déclarées avant l'analyse, ce qui limite la chasse au résultat. Les analyses ajoutées après coup sont clairement signalées comme exploratoires.
Deuxièmement, les contrôles : les deux réseaux passent le test de randomisation des poids (Adebayo et al.), le masque thoracique est validé contre CheXmask (Dice de 0,995 à 0,998) et le résultat nul est borné : un gain supérieur à 0,011 d'AUROCf est exclu pour un détecteur calibré avant déploiement. Un résultat négatif chiffré vaut mieux qu'un « pas d'effet ».
Troisièmement, la transparence : code sous licence MIT, version archivée sur Zenodo, aucun conflit déclaré, données publiques (NIH, CheXpert, PhysioNet) ; le tout suit la checklist CLAIM. Les auteurs relèvent aussi l'identité mathématique qui lie Grad-CAM au score d'un réseau à pooling global : la carte n'est pas une mesure indépendante de la décision.
Ce qui est moins bien
Premièrement, un comparateur d'étiquettes bruité à l'entraînement et au test interne : les étiquettes NIH sont extraites de rapports, donc certaines « fausses alertes » internes sont probablement de vrais findings manqués par l'étiquetage. C'est un biais de métrique et de label qui brouille les chiffres de NIH (64 % d'alertes fausses), même si les deux sites externes sont plus propres.
Deuxièmement, un biais de population et de cas : peu de positifs sur plusieurs findings externes (lésion pulmonaire 10, pneumothorax 16 à CheXpert), des intervalles par finding larges d'environ 0,2, un VinDr-CXR composé uniquement de clichés de face en incidence postéro-antérieure alors que près de deux clichés NIH sur cinq sont en antéro-postérieur. L'inversion du lien entre plausibilité et exactitude entre NIH et Hanoï est en partie un effet de composition de cas, comme le reconnaissent les auteurs, et sa cause exacte n'est pas établie.
Troisièmement, une portée limitée : un seul résumé d'explication (la concentration spatiale), pas de méthodes d'attribution spécifiques aux transformers, LIME et SHAP calculés sur au plus 500 radiographies par site, et surtout aucune étude de lecteurs. L'étude ne dit pas comment un radiologue se sert réellement d'une carte ; elle dit seulement que la carte n'est pas un détecteur d'erreurs automatique fiable. Étude rétrospective, entraînement sur un seul hôpital : un modèle déployé pourrait se comporter autrement.
Ce que ça change
Pour la communauté de recherche : un protocole réutilisable (hypothèses préenregistrées, bornes de non-gain, évaluation multi-sites) pour tester d'autres promesses d'explicabilité, notamment les explications en langage naturel que les auteurs citent comme piste.
Pour les cliniciens et les équipes qui déploient : réétalonner les seuils sur un échantillon local avant usage (les seuils de NIH ont raté presque tout l'œdème à Stanford), et fonder une surveillance sur la confiance du modèle, signal modeste (AUROCf de 0,61 à 0,69) mais le plus fiable ici. Ne pas considérer une carte « anatomiquement plausible » comme une garantie.
Pour les patients et le grand public : l'explicabilité affichée n'équivaut pas à la fiabilité. Ces résultats ne remettent pas en cause l'usage de l'IA en radiologie, mais invitent à exiger des contrôles mesurés plutôt que des images rassurantes.
Pour aller plus loin
Papier : arXiv 2611.05011 (DOI 10.48550/arXiv.2611.05011). Code : GitHub, licence MIT, archivé sur Zenodo. Données : NIH ChestX-ray14, CheXpert/CheXlocalize, VinDr-CXR et CheXmask (PhysioNet, accord d'usage requis).
Mention de transparence éditoriale : cet article a été produit par la chaîne éditoriale automatisée de Tatakoto à partir de la version PDF complète du preprint ; les tableaux supplémentaires (Extended Data) n'ont pas été relus en détail. Les versions anglaise, espagnole et chinoise sont générées par IA. Une erreur ? Contactez-nous.