Robustesse des foundation models en pathologie : ce qu'un banc d'essai « perturbations plus décalage de distribution » révèle de leur fragilité

Trois chercheurs de l'Université de Warwick soumettent douze foundation models de pathologie numérique, et deux réseaux convolutifs de référence, à onze perturbations d'image réalistes et à un protocole de validation conçu pour casser la ressemblance entre données d'entraînement et de test. Les grands modèles résistent mieux que les anciens réseaux, mais leur robustesse plafonne bien avant le milliard de paramètres, et tous perdent en précision dès qu'on les confronte à des distributions vraiment différentes. Un rappel utile : la fiabilité clinique tiendra à la qualité et à la diversité des données d'entraînement, pas à la taille du modèle.

Le contexte

La pathologie numérique, c'est-à-dire l'analyse de lames de tissu scannées à haute résolution, est devenue l'un des terrains les plus actifs de l'IA médicale. Depuis deux ans, une nouvelle génération d'outils y domine : les foundation models — de très grands réseaux pré-entraînés par apprentissage auto-supervisé (le modèle apprend à représenter des millions d'images de tissu sans étiquette, en se donnant à lui-même des tâches de prédiction) sur des corpus massifs, puis réutilisables sur quantité de tâches diagnostiques. GigaPath, UNI, Virchow, Phikon : ces modèles ont fait grimper les scores sur presque tous les benchmarks de classification, de segmentation et de pronostic.

Mais un score élevé sur un jeu de test propre ne dit rien de la fiabilité en conditions réelles. En pathologie, deux lames du même cancer peuvent différer par la coloration, le scanner, le protocole du laboratoire, la population de patients. Un modèle solide doit résister à ces variations — c'est la question de la robustesse — et rester performant quand les données de déploiement diffèrent des données d'entraînement — c'est la généralisation hors distribution. Ce préprint, signé par l'équipe du Tissue Image Analytics Centre de l'Université de Warwick, pose trois questions frontales : ces modèles résistent-ils à des altérations d'image cliniquement plausibles ? tiennent-ils face à des distributions différentes ? et la course à la taille améliore-t-elle encore quelque chose, ou a-t-elle atteint son plateau ?

La méthode

Les auteurs évaluent douze foundation models de pathologie, de l'encodeur transformer de taille moyenne (Hibou, Phikon-v1/v2, EXAONEPath, UNI, entre 80 et 300 millions de paramètres) au modèle de plus d'un milliard de paramètres (GigaPath, H-Optimus-0/1), en passant par la gamme intermédiaire (Virchow, Virchow2, UNI2, 600 à 700 millions). Deux réseaux convolutifs classiques (ResNet18 et ResNet50) servent de point de comparaison « ancienne génération ». Tous les encodeurs sont gelés : on ne réentraîne pas le modèle, on lui ajoute seulement une unique couche linéaire de classification qu'on entraîne pour chaque tâche (technique dite du linear probing, qui teste la qualité des représentations apprises sans les modifier).

Quatre jeux de données publics servent de terrain, tous découpés en petites tuiles d'image : NCT (tissus colorectaux, ramenés à une tâche binaire tumeur / non-tumeur), PANDA (biopsies de prostate notées selon le score de Gleason, ramenées à cancer / bénin), PanNuke (détection de noyaux tumoraux) et PatchCamelyon (environ 330 000 tuiles de ganglions lymphatiques, présence ou absence de métastase). La performance de base se mesure en ROC-AUC (aire sous la courbe ROC : capacité à classer correctement un cas positif au-dessus d'un cas négatif, 0,5 = hasard, 1,0 = parfait).

Deux dispositifs originaux structurent l'évaluation. D'abord une batterie de onze perturbations réalistes, produites par un outil maison (REET), réparties en trois familles : au niveau du pixel (bruit, luminosité, compression JPEG), au niveau de la coloration (variation de teinte, mélange dans l'espace colorimétrique de l'histologie) et au niveau géométrique (flou, rotation, recadrage, zoom). Les auteurs résument la résistance de chaque modèle par un indice, le PPI (Perturbation Performance Index), qui intègre l'AUC mesurée à mesure qu'on augmente l'intensité de la perturbation : PPI de 1 = robustesse parfaite, valeurs plus basses = dégradation. Ensuite un protocole de validation non redondant (NR-Kfold) : au lieu de répartir les tuiles au hasard entre entraînement et test, on regroupe les images qui se ressemblent dans l'espace des représentations, puis on affecte des groupes entiers à des plis séparés. On force ainsi une dissemblance entre entraînement et test, ce qui simule le passage d'un hôpital, d'un scanner ou d'une population à un autre.

Les résultats

Sur les perturbations, la hiérarchie est nette. Les altérations au niveau du pixel — bruit, luminosité, compression JPEG — sont les plus déstabilisantes, avec des PPI d'environ 0,4 à 0,6. Les variations de coloration font un dégât modéré (PPI d'environ 0,6 à 0,75). Les transformations géométriques (flou, rotation, recadrage, zoom) sont les mieux tolérées (PPI d'environ 0,8 à 1,0), signe que ces modèles ont bien appris l'invariance spatiale. Parmi les modèles, EXAONEPath, Virchow2, UNI2 et Phikon-v2 arrivent systématiquement en tête ; les foundation models plus petits ou plus anciens (Hibou, Phikon-v1) et les ResNet décrochent, surtout sous stress pixel ou coloration.

Le résultat central concerne la taille. Malgré trois ordres de grandeur d'écart entre le plus petit et le plus gros modèle, la corrélation entre nombre de paramètres et robustesse reste faible (coefficient de 0,15 à 0,55 selon le jeu de données). L'amélioration est réelle du petit au modèle de taille moyenne, puis sature nettement au-delà de 300 à 600 millions de paramètres : les modèles de plus d'un milliard de paramètres (H-Optimus, GigaPath) n'apportent aucun gain supplémentaire, et déclinent parfois. Autrement dit, ce qui compte, c'est la diversité et la qualité du pré-entraînement, pas la démesure.

Le test de généralisation, lui, expose une fragilité cachée. Dès qu'on casse la ressemblance entre entraînement et test avec le protocole NR-Kfold, tous les modèles perdent en précision : la baisse d'AUC va de −0,02 sur NCT à −0,23 sur PanNuke, ce dernier chiffre trahissant que le découpage habituel de ce jeu partageait des patients et des lames entre entraînement et test — un cas d'école de fuite de données. Les grands et moyens foundation models (Virchow2, UNI2, H-Optimus) encaissent le mieux, avec une perte moyenne d'environ −0,07 d'AUC et une faible variabilité entre plis (écart-type de 0,09 à 0,12). Les transformers plus anciens et les ResNet chutent davantage (jusqu'à −0,36 d'AUC) et deviennent instables (écart-type supérieur à 0,15). Là encore, la taille n'aide guère : la corrélation globale entre paramètres et AUC hors distribution est faible et non significative (coefficient de 0,22, p = 0,096), et la tendance lissée décline même légèrement au-delà de 600 millions de paramètres.

Ce qui est bien

Un banc d'essai systématique et ouvert. C'est, à la connaissance des auteurs, la première évaluation qui combine sur les mêmes modèles une analyse de robustesse aux perturbations et une analyse de généralisation hors distribution. Quatorze modèles, quatre jeux de données, onze perturbations, deux protocoles, et une boîte à outils publiée (le dépôt pfm-robustness-toolkit) : le travail est reproductible et directement réutilisable par d'autres équipes, ce qui manque cruellement dans une littérature où chacun rapporte ses propres chiffres sur son propre découpage.

Un protocole qui débusque la fuite de données. La validation non redondante n'est pas un gadget : en forçant la dissemblance entre entraînement et test, elle révèle que les découpages aléatoires habituels surestiment la performance. Le −0,23 d'AUC sur PanNuke est précisément le genre de chute qui reste invisible dans une évaluation standard, et le fait apparaître est un service rendu au domaine — un moyen bon marché de détecter, avant tout déploiement, l'optimisme d'un modèle sur ses propres données.

Un message anti-démesure argumenté. Contre le réflexe « plus gros = meilleur » qui domine le champ des foundation models, les auteurs montrent, chiffres à l'appui, que la robustesse sature autour de quelques centaines de millions de paramètres. C'est une conclusion utile et contre-intuitive, qui réoriente l'effort vers la diversité des données de pré-entraînement plutôt que vers la course à la taille — et donc vers une IA plus sobre en calcul.

Ce qui est moins bien

Une évaluation qui reste à distance de la clinique. Tout se joue sur des tuiles isolées, avec des encodeurs gelés et une simple couche linéaire par-dessus. Or un diagnostic anatomopathologique se pose sur une lame entière, souvent après ajustement fin du modèle. Le banc d'essai mesure donc la qualité des représentations, pas la performance d'un système réellement déployé. Surtout, le NR-Kfold est un proxy synthétique du décalage de distribution : regrouper des images qui se ressemblent dans l'espace des représentations n'équivaut pas à tester sur un vrai second hôpital, avec son scanner et sa population. Le biais de population, le principal mode d'échec en IA-santé, n'est ici testé qu'en éprouvette.

Des tâches binaires qui gonflent les chiffres. Ramener les neuf tissus de NCT à « tumeur / non-tumeur », ou le score de Gleason de PANDA à « cancer / bénin », jette la granularité clinique la plus utile — c'est la distinction entre grades qui oriente le traitement d'un cancer de prostate, pas la seule présence d'une tumeur. Ces tâches simplifiées sont plus faciles et produisent des AUC flatteuses : on frôle la métrique trompeuse. Le sous-échantillonnage agressif (10 % des données d'entraînement, 2,5 à 10 % du test sur NCT) réduit en outre la puissance statistique des comparaisons.

Aucune traduction clinique des écarts mesurés. L'article s'arrête aux métriques de machine learning — ROC-AUC, PPI, baisse d'AUC — sans jamais dire ce qu'une perte de 0,07 à 0,23 d'AUC signifie en tuiles mal classées, en faux négatifs sur une métastase, en lames à relire. Il manque une sensibilité et une spécificité à un seuil de fonctionnement, seules parlantes pour un clinicien. Enfin, si le shortcut learning — le modèle qui s'accroche à un artefact de coloration ou de scanner plutôt qu'à la tumeur — est la cause implicite de ces chutes, aucune carte d'attribution ne vient montrer sur quoi les modèles se fixent réellement.

Ce que ça change

Pour la communauté de recherche, l'apport est méthodologique et immédiat : l'évaluation de robustesse et le test de dissemblance devraient devenir un passage obligé avant toute publication de foundation model, au même titre que l'AUC. Le NR-Kfold offre une sonde peu coûteuse pour détecter fuite de données et sur-optimisme. Et la démonstration du plateau de taille est un signal fort pour réallouer le calcul : viser la diversité des sources, la multimodalité et l'alignement de domaine plutôt que le simple gonflement du modèle.

Pour les cliniciens et les laboratoires, rien de déployable ici, mais un avertissement concret. Un foundation model validé sur les lames d'un centre peut perdre une part significative de sa performance sur le scanner et la coloration d'un autre — et cette perte reste invisible tant qu'on ne teste pas explicitement le décalage de distribution. La leçon pratique : exiger une validation multi-centres, sur ses propres lames, avant d'accorder la moindre confiance à un chiffre publié.

Pour les patients et le grand public, le message est le même que pour tout outil d'IA en santé : un score impressionnant obtenu en laboratoire ne garantit pas la fiabilité sur les lames de votre hôpital. La bonne nouvelle est que le domaine se dote lui-même d'outils pour mesurer sa propre fragilité — ce qui est la condition d'une pathologie numérique digne de confiance.

Pour aller plus loin

Le préprint est disponible sur arXiv (2607.04401), déposé le 5 juillet 2026 par Dhyey Yajnik, Amina Asif et Fayyaz Minhas (Tissue Image Analytics Centre, Université de Warwick, Royaume-Uni) ; il n'a pas encore été relu par les pairs. La boîte à outils est publiée sur GitHub (DhLYa/pfm-robustness-toolkit). Sur les foundation models en pathologie et leurs limites, voir nos décryptages sur GigaPath, l'un des modèles évalués ici, sur la distillation d'experts pour un foundation model de pathologie, et sur l'évaluation par probing de foundation models multimodaux en cancérologie.

Transparence éditoriale : version française rédigée et signée par la rédaction de Tatakoto à partir de la lecture du préprint. Traductions anglaise, espagnole et chinoise produites avec assistance IA et relues.