ALICE : un seul modèle de fondation en pathologie distillé à partir de huit experts — meilleur rang moyen sur 96 tâches, mais aucune validation prospective
Une équipe de Tsinghua Shenzhen, d'Oxford et de l'université Sun Yat-sen fond huit modèles de fondation en pathologie numérique en un seul réseau, par une « distillation agglomérative » en trois étapes baptisée ALICE. Sur 96 tâches réparties en 48 sources de données, ALICE obtient le meilleur rang moyen face à des modèles spécialisés, dépassant le deuxième de 1,79, 6,39 et 3,04 points selon le type de tâche. Mais l'évaluation est entièrement rétrospective, les comparateurs sont les propres modèles-professeurs d'ALICE, et aucun contrôle de fuite de données n'est rapporté alors que pré-entraînement et tests partagent tous deux la base TCGA.
Le contexte
La pathologie numérique — l'analyse de lames de tissu scannées à très haute résolution — est devenue l'un des terrains les plus actifs de l'IA médicale. Depuis deux ans, les modèles de fondation (de gros réseaux pré-entraînés sur d'énormes corpus d'images, puis réutilisables pour de nombreuses tâches) s'y multiplient : UNI, Virchow, H-optimus, GigaPath, CONCH, TITAN et d'autres. Le problème est qu'ils ne sont pas interchangeables. Chacun a été entraîné avec un objectif, des données et une échelle différents. Certains excellent à décrire une petite tuile de tissu, d'autres à relier une image à du texte, d'autres encore à raisonner à l'échelle de la lame entière (la whole-slide image ou WSI, qui peut faire plusieurs gigapixels). L'expertise est donc « fragmentée » entre plusieurs réseaux : pour couvrir toutes les tâches, un laboratoire doit héberger et faire tourner plusieurs modèles lourds en parallèle.
ALICE — pour Agglomerative Learning via Integrated Computational pathology Embedding — propose une autre voie, empruntée à la vision par ordinateur généraliste (la méthode RADIO) : plutôt que d'entraîner un modèle de plus sur encore plus de données, on distille plusieurs modèles existants en un seul. La question du papier est double : peut-on consolider les compétences complémentaires de huit modèles dans un unique réseau, et ce réseau unique fait-il aussi bien, voire mieux, que chacun de ses professeurs sur son propre terrain ?
La méthode
La distillation de connaissances consiste à entraîner un réseau « élève » à reproduire les représentations internes d'un ou plusieurs réseaux « professeurs » figés, sans avoir accès à leurs données d'origine. ALICE pousse l'idée à huit professeurs, répartis en trois familles. Trois modèles vision seule (UNI-2, 681 millions de paramètres ; Virchow-2, 632 millions ; H-optimus-1, 1,1 milliard) qui encodent des tuiles de tissu. Trois modèles vision-langage (CONCH, MUSK, KEEP) qui alignent image et texte. Deux modèles de niveau lame (TITAN, CARE) qui agrègent des milliers de tuiles en une représentation de la lame entière.
L'élève est un transformer visuel de type ViT-H/14 (le transformer est l'architecture qui domine l'IA depuis 2017 ; « H/14 » désigne sa taille et la finesse de son découpage en tuiles) doté de trois modules activés en séquence. L'entraînement se fait en trois étapes correspondant aux trois familles de professeurs. À chaque étape, l'élève apprend à imiter les sorties des professeurs concernés grâce à deux pertes principales : une perte de distillation angulaire, qui rapproche les directions des vecteurs produits par l'élève et par le professeur, et une perte de distillation par tuile, qui aligne les représentations spatiales locales. Le module vision est entraîné le premier, puis figé ; le module multimodal se greffe dessus ; le module de niveau lame travaille enfin sur des caractéristiques pré-calculées, sans repasser par les pixels bruts. Fait notable, le papier ne donne jamais le nombre total de paramètres d'ALICE.
Le pré-entraînement n'utilise que des données publiques. Côté tuiles, TCGA-12K : 24 985 184 imagettes de 224×224 pixels extraites d'environ 12 000 lames du Cancer Genome Atlas (TCGA), la grande base publique américaine, couvrant 32 types de cancer. Côté haute résolution, 155 604 régions de 8192×8192 pixels, dont 25 495 issues de TCGA et 130 109 de la collection publique HISTAI. Aucune cohorte privée n'entre dans le pré-entraînement. L'évaluation, elle, couvre 21 scénarios (7 par famille), 96 tâches en aval et 48 sources de données : classification et segmentation de régions, questions-réponses visuelles, recherche d'images, et à l'échelle de la lame, sous-typage tumoral, prédiction de biomarqueurs et analyse de survie. Les modèles sont comparés à jeux de données et découpes identiques, chaque fois face aux modèles « appariés à la tâche » — c'est-à-dire, en pratique, les professeurs d'ALICE eux-mêmes.
Les résultats
Le résultat principal est exprimé en rang moyen : sur chaque tâche, on classe les modèles, puis on moyenne la position d'ALICE. Dans les trois réglages, ALICE obtient le meilleur rang moyen parmi les modèles appariés, en dépassant le deuxième de 1,79 point (vision seule), 6,39 points (multimodal) et 3,04 points (niveau lame). Face à la moyenne de tous les autres modèles, l'écart monte à 3,10, 7,41 et 4,00 points. En classification faiblement supervisée de lames entières sur 19 tâches cliniques, ALICE est premier sur 17, et significativement meilleur que le deuxième sur 12. En apprentissage few-shot (à partir de très peu d'exemples) sur 12 tâches de région, son rang moyen est de 1,08.
Ces chiffres sont solides mais demandent une lecture prudente, et le papier lui-même fournit de quoi nuancer. Le rang masque l'amplitude des écarts : être classé 1,25 en moyenne plutôt que 1,5 peut recouvrir des différences absolues minimes. Et là où une métrique absolue est donnée, ALICE n'est pas toujours devant : en segmentation d'instances de région, il obtient 0,599 d'AP@50 (une mesure de qualité de détection) contre 0,607 pour UNI-2 — soit un léger recul face à l'un de ses propres professeurs.
La traduction clinique, elle, reste théorique, et les auteurs ne prétendent pas le contraire. Les tâches « cliniques » — prédiction du statut des récepteurs hormonaux ER/PR dans le cancer du sein, de mutations (PBRM1, BAP1, SETD2) dans le cancer du rein, analyse de survie mesurée par l'indice de concordance ou C-index (probabilité que le modèle ordonne correctement deux patients selon leur pronostic) — sont toutes rétrospectives, réalisées sur des cohortes archivées. Aucune ne correspond à un usage prospectif au lit du patient. Un rang moyen record n'est donc pas un test diagnostique validé.
Ce qui est bien
Une idée d'ingénierie élégante et utile. Consolider huit modèles lourds en un seul réseau répond à un vrai problème de terrain : au lieu d'héberger et de maintenir plusieurs foundation models en parallèle, un laboratoire pourrait n'en faire tourner qu'un. La méthode, importée de la vision généraliste, est transférable à d'autres domaines fragmentés, et le fait qu'un élève unique tienne tête à ses huit professeurs sur leurs propres tâches est un résultat non trivial.
Une évaluation large et honnête sur ses angles morts. 96 tâches, 48 sources, six familles de métriques : l'ampleur du banc d'essai dépasse la plupart des papiers du domaine. Surtout, les auteurs rapportent aussi les cas où ALICE perd (la segmentation d'instances sous UNI-2), au lieu de ne montrer que les victoires. Cette transparence sur les défaites est un marqueur de sérieux.
Une ouverture concrète. Le code et les poids du modèle sont annoncés comme publics (dépôt GitHub WonderLandxD/ALICE), et l'intégralité des données de pré-entraînement provient de sources publiques déposées sur Hugging Face (TCGA-12K, TCGA-UT-8K, HISTAI). Cela rend le travail reproductible et réutilisable, à la différence des modèles entraînés sur des lames hospitalières inaccessibles.
Ce qui est moins bien
Une fuite de données possible, jamais contrôlée. C'est la limite la plus sérieuse. ALICE est pré-entraîné sur TCGA, et plusieurs jeux de test sont dérivés ou proches de TCGA ; ses huit professeurs ont eux aussi vu d'immenses collections de lames potentiellement chevauchantes. Or le papier ne rapporte aucune analyse de recoupement entre lames de pré-entraînement et lames d'évaluation. Ce data leakage — quand des données de test ont, directement ou indirectement, servi à l'entraînement — gonfle mécaniquement les scores. Sans déduplication documentée, les chiffres de benchmark doivent être lus comme des bornes hautes.
Un comparateur juge et partie, une métrique qui flatte. ALICE agrège la connaissance de huit modèles, puis se compare… à ces mêmes huit modèles pris un par un. Battre par construction des professeurs dont on a fusionné les savoirs n'est pas la même chose que battre un modèle indépendant plus récent. S'ajoute une asymétrie en zero-shot (classification sans réentraînement) : ALICE moyenne les probabilités de ses trois têtes alignées sur CONCH, MUSK et KEEP, ce qui lui donne un avantage d'ensemble que les comparateurs à modèle unique n'ont pas. Enfin, le choix du rang moyen comme vitrine — une métrique trompeuse ici — dissimule des écarts absolus parfois ténus.
Une validation mince et un socle de données étroit. Les auteurs le reconnaissent noir sur blanc : ALICE « a été évalué principalement en conditions rétrospectives » et des études « prospectives, multi-institutionnelles » restent nécessaires face aux variations réelles de coloration, de scanner et de population. Le pré-entraînement repose sur TCGA — centres académiques surtout américains — d'où un biais de population possible sur les cohortes non représentées, et il ignore l'immunohistochimie comme la génomique. Par nature, une distillation hérite aussi des angles morts de ses professeurs : si tous partagent un même shortcut learning (apprendre un artefact de préparation plutôt que la biologie), l'élève l'hérite sans le corriger.
Ce que ça change
Pour la communauté de recherche, ALICE installe la distillation-consolidation comme une stratégie crédible face à la course à la taille : au lieu d'entraîner toujours plus gros, on peut fusionner l'existant. Cela pose aussi une question ouverte — celle des rendements décroissants et de la dépendance à la qualité des professeurs : un élève ne peut, en principe, pas dépasser durablement ce que ses maîtres savent déjà. Le travail fournit un modèle unifié réutilisable, à condition que les poids soient effectivement publiés sous une licence exploitable, ce que le papier ne précise pas.
Pour les cliniciens, rien ne change aujourd'hui. Il s'agit d'un modèle de recherche évalué sur des lames archivées, sans étude prospective ni marquage réglementaire. Un tel réseau reste un socle générique, à adapter puis à valider sur les données de l'établissement visé avant tout usage.
Pour les patients et le grand public, la prudence s'impose sur le vocabulaire. « Meilleur rang moyen sur 96 tâches » sonne comme une consécration, mais désigne une performance de laboratoire sur des données passées, pas une capacité de diagnostic éprouvée. L'écart entre le score de benchmark et l'utilité au lit du malade — le cœur du sujet en IA-santé — reste entier.
Pour aller plus loin
Le préprint est disponible sur arXiv (10.48550/arXiv.2607.09526) ; le code et les poids sont annoncés sur GitHub. Travail financé par des fonds publics chinois (NSFC 82430062 et autres) ; les auteurs déclarent n'avoir aucun conflit d'intérêts. Sur la question inverse — curer les données plutôt que distiller les modèles — voir notre décryptage sur MedPMC et la littérature PMC ; sur un foundation model de pathologie entraîné sur données réelles, celui de GigaPath ; et sur l'évaluation critique des représentations de foundation models en oncologie, notre décryptage probing et fusion en cancérologie.
Transparence éditoriale : version française rédigée et signée par la rédaction de Tatakoto à partir de la lecture du préprint. Traductions anglaise, espagnole et chinoise produites avec assistance IA et relues.