GazeRIB : le regard de huit radiologues pour entraîner une IA sur radiographies thoraciques — trois lecteurs suffisent, le gain externe reste fragile
Une équipe de Georgia Tech et d'Emory a mesuré combien de radiologues il faut pour que leur regard améliore l'entraînement d'un modèle d'IA sur radiographies thoraciques : huit experts ont lu les mêmes 80 clichés sous eye-tracking, et leurs zones regardées ont servi à masquer le reste de l'image pendant l'apprentissage. Un panel de trois lecteurs capte 73 à 80 % du gain du panel complet, alors qu'aucun lecteur seul n'atteint la significativité sur le critère principal. Le gain est réel mais modeste, il ne se transfère que sur une des deux cohortes externes, et le comparateur n'est pas équilibré : à lire comme une étude de méthode, pas comme un outil prêt pour la clinique.
Le contexte
Entraîner un modèle de vision sur des radiographies thoraciques (CXR) demande beaucoup d'images annotées, et l'annotation par des radiologues est lente et coûteuse. Une idée ancienne consiste à utiliser une information que le radiologue produit sans effort supplémentaire : où il regarde. L'eye-tracking (suivi oculaire) enregistre les fixations du regard pendant la lecture d'un cliché ; ces cartes de fixation peuvent guider un modèle vers les régions que les experts jugent informatives.
Ce que la littérature dit peu, c'est combien de lecteurs sont nécessaires. Les radiologues ne regardent pas tous un cliché de la même façon, et un modèle guidé par un seul regard peut hériter de ses habitudes, voire de ses angles morts. GazeRIB étudie donc une question pratique : combien de regards, et de quels lecteurs, faut-il pour obtenir un bénéfice fiable ?
La méthode
Huit experts, cinq radiologues certifiés et trois internes (chacun avec au moins une année de formation restante), ont lu les mêmes 80 radiographies thoraciques, 20 par classe de gravité, avec suivi oculaire. Les fixations (durée, diamètre pupillaire, proportion de touches) sont converties en masques lissés : les régions non regardées sont noircies. On obtient 5 685 images « noircies » pour l'ensemble des huit lecteurs, soit 680 à 720 par lecteur. Les superpositions d'IA ont été exclues des images lues.
La tâche d'évaluation est une prédiction de gravité en quatre classes (normal, léger, modéré, sévère) sur une cohorte d'Emory : 2 897 clichés de face de 1 366 patients, imagerie COVID-19 de janvier à novembre 2020 (48,3 % d'hommes, âge moyen 58,5 ± 17,6 ans, 73,6 % de patients afro-américains). La gravité COVID sert ici de proxy d'opacification pulmonaire générale, et non de critère spécifique de la maladie. Les 80 clichés lus sous eye-tracking sont disjoints de la cohorte par patient.
Sept architectures pré-entraînées sur ImageNet sont testées : DenseNet-121, ResNet-18, ResNet-50, EfficientNet-B0, EfficientNet-B1, un Vision Transformer (ViT, qui découpe l'image en blocs traités par attention) et un Swin Transformer, chacune avec une petite tête de classification (MLP). L'entraînement se fait en deux étapes : (1) le réseau entier est entraîné sur les images noircies selon cinq stratégies de panel (un lecteur seul, les trois internes, les cinq radiologues, quatre radiologues plus un interne, les huit) ; (2) le réseau est gelé et une nouvelle tête est affinée sur les clichés originaux. Le comparateur, sans regard, gèle le réseau pré-entraîné et n'entraîne que la tête sur les 80 clichés originaux.
Les découpages sont stratifiés par patient et par gravité (20 % validation, 80 % test), répétés avec 10 graines aléatoires, soit 910 modèles. Les tests sont des Wilcoxon appariés bilatéraux avec correction de Bonferroni sur 35 tests stratégie-métrique, et la taille d'effet est le d de Cohen apparié (dz). Deux cohortes externes servent sans réentraînement : SIIM-FISABIO-RSNA (6 054 études, étiquette binaire, 72,3 % d'anormaux) et MIMIC-Eye, sous-ensemble de MIMIC-CXR (1 938 images dont 781 anormales, étiquettes CheXpert).
Les résultats
En métriques ML d'abord. Le F1 macro est la moyenne, sur les quatre classes, d'un score qui combine précision et rappel ; l'AUC (aire sous la courbe ROC) mesure la capacité à distinguer deux classes (0,5 : hasard, 1 : parfait). Chaque panel améliore le F1 macro par rapport au comparateur sans regard, de 5,33 à 7,47 points de pourcentage (pp). Le panel des huit lecteurs gagne 7,47 pp de F1, 5,90 pp d'AUC et 6,20 pp d'AU-PRC. Un lecteur seul gagne 1,87 pp de F1, non significatif après correction. Passer d'un à trois lecteurs apporte 3,98 pp de F1 macro, de trois à huit encore 1,62 pp ; trois lecteurs captent 73 à 80 % du gain du panel complet. Un panel de trois internes (+5,85 pp) fait aussi bien que cinq radiologues (+5,39 pp) ou qu'un panel mixte (+5,33 pp).
Le gain dépend de l'architecture : de 10,4 à 14,8 pp de F1 pour les réseaux convolutifs (DenseNet-121, EfficientNet-B0, ResNet-18, ResNet-50) avec les huit lecteurs, 7,8 pp pour EfficientNet-B1, quasi nul pour Swin (+0,06 pp) et négatif pour le ViT. La calibration (l'accord entre probabilité annoncée et fréquence réelle) s'améliore : l'erreur de calibration binaire passe de 0,142 sans regard à 0,116 avec un lecteur et à 0,069-0,080 avec les panels.
En externe, sans réentraînement : sur SIIM-FISABIO-RSNA, l'AUC passe de 68,8 % à 73,0 % avec les huit lecteurs (+4,24 pp), alors que la moyenne des lecteurs seuls ne bouge pas (+0,03 pp). Sur MIMIC-Eye, aucun panel ne diffère significativement du comparateur (+0,75 pp, p = 0,054 pour les huit), et la moyenne des lecteurs seuls recule de 1,40 pp (p = 0,008). Le lecteur au meilleur gain interne (Rad5) arrive dernier des huit sur les deux cohortes externes.
Traduction clinique. L'étude ne rapporte ni sensibilité ni spécificité à un seuil, donc nous ne proposons pas de nombre de faux positifs pour 1 000 patients, qui serait inventé. Ce que l'on peut dire : une AUC externe de 73,0 % pour distinguer une radiographie anormale reste loin d'un niveau de dépistage utilisable, et un gain de 4 points sur cette échelle ne change pas la nature du modèle. Les auteurs ne revendiquent d'ailleurs pas l'état de l'art.
Ce qui est bien
Premièrement, la question est précise et la réponse est quantifiée : l'étude ne se contente pas de montrer que le regard aide, elle mesure l'effet du nombre de lecteurs (1, 3, 5, 8) et de leur niveau (internes, radiologues, mixte), avec des tailles d'effet et une correction pour tests multiples. La conclusion « trois lecteurs suffisent à l'essentiel » est directement utile pour qui voudrait collecter ce type de données.
Deuxièmement, la validation sort de la cohorte de développement : deux jeux externes, avec des schémas d'étiquetage différents, et les auteurs rapportent l'échec sur MIMIC-Eye et la dégradation des lecteurs seuls. Observer que le meilleur lecteur en interne est dernier en externe est une information rare sur la fragilité d'un regard individuel.
Troisièmement, la liste de limites est longue et spécifique, rédigée par les auteurs eux-mêmes, avec un financement public (NSF), une déclaration d'absence de conflit d'intérêts et une mention de l'usage de modèles de langage pour la relecture linguistique.
Ce qui est moins bien
Premièrement, le comparateur n'est pas équilibré, un cas de comparateur biaisé. Il n'entraîne que la tête de classification sur 80 clichés, alors que les bras avec regard mettent à jour le réseau entier : le gain attribué au regard est mélangé à un gain d'apprentissage de représentation, comme l'admettent les auteurs. Le nombre de lecteurs est lui aussi confondu avec le volume d'images noircies : huit lecteurs, ce sont aussi beaucoup plus d'images d'entraînement.
Deuxièmement, la source du regard est minuscule et l'étiquette est un proxy : 80 clichés lus par huit personnes, une cohorte COVID-19 de 2020 dans un seul système hospitalier, avec une forte proportion de patients afro-américains, et une gravité utilisée comme substitut d'opacité pulmonaire. C'est un risque de biais de population : rien ne dit que le résultat tienne pour d'autres pathologies, d'autres appareils ou d'autres pays, et aucune analyse par sexe, âge ou origine n'est présentée. Le désaccord entre lecteurs sur les quatre classes plafonne aussi la performance atteignable, et les résultats des transformers (ViT négatif, Swin nul) montrent que la méthode dépend de l'architecture.
Troisièmement, la robustesse externe et la reproductibilité sont limitées. Les analyses externes ne sont pas corrigées pour tests multiples, les cohortes externes ont une étiquette binaire, non curée comme le jeu principal, et une partie des lectures eye-tracking a été faite avec assistance d'IA, ce qui ne permet pas d'exclure une influence résiduelle sur le regard. Ni code ni données publiques : « sur demande raisonnable » auprès du dernier auteur. C'est enfin un preprint non évalué par les pairs, sans validation prospective ni statut réglementaire.
Ce que ça change
Pour la communauté de recherche, le papier fournit un ordre de grandeur utile : trois lecteurs, y compris des internes, suffisent à capter l'essentiel du bénéfice, ce qui rend la collecte de regards plus réaliste. Il montre aussi qu'un regard individuel est un signal fragile et qu'une méthode « guidée par les experts » doit être évaluée avec plusieurs lecteurs et plusieurs cohortes externes. Reste à refaire le test avec un comparateur équilibré (même entraînement du réseau entier) pour isoler l'effet du regard.
Pour les cliniciens, rien ne change dans la pratique à court terme : il s'agit d'une manière d'entraîner un modèle, pas d'un outil à déployer. À plus long terme, l'idée intéresse les services qui disposent déjà d'eye-tracking, car le regard est un sous-produit de la lecture quotidienne.
Pour les patients et le public, l'enjeu est indirect : réduire le coût d'annotation pourrait faciliter des modèles mieux entraînés, mais le papier n'établit aucun bénéfice de soin. Un gain externe sur une cohorte et une absence de gain sur l'autre invitent à la prudence.
Pour aller plus loin
Preprint : Kittisut N., Gabriel R. M., van Assen M., Zandehshahvar M., De Cecco C. N., Krupinski E. A., Adibi A., « GazeRIB: Systematic Evaluation of Multi-Reader Gaze-Guided Chest X-ray Learning », arXiv:2610.42152, arxiv.org/abs/2610.42152. Jeux externes : SIIM-FISABIO-RSNA et MIMIC-Eye (MIMIC-CXR, PhysioNet). Code et données : sur demande au dernier auteur (Ali Adibi).
Cette analyse a été produite avec assistance d'IA à partir du texte du preprint ; les calculs et interprétations qui ne figurent pas dans le papier sont signalés comme tels.