Foundation models en cancérologie multimodale : ce que révèle un audit de la pathologie et du transcriptome

Une équipe de l’Alan Turing Institute, de l’Institute of Cancer Research et de Genentech a passé au banc d’essai cinq foundation models sur deux modalités — lames de pathologie numérisées et transcriptome — chez plus de 7600 patients atteints d’un cancer du sein ou du poumon. Le verdict dérange : sur les données omiques, une analyse en composantes principales, méthode statistique centenaire, bat le foundation model conçu pour cela, et fusionner les deux modalités n’apporte un gain que lorsque aucune ne domine déjà le signal. Ce n’est pas une percée mais un audit honnête de ce que ces modèles encodent vraiment — et de leur fiabilité réelle.

Le contexte

Depuis deux ans, la pathologie numérique vit à l’heure des foundation models : de grands réseaux pré-entraînés, sans étiquettes, sur des millions de lames histologiques, qui transforment une image en un vecteur de nombres — un embedding — censé condenser l’information utile. On branche ensuite un petit classifieur sur ces vecteurs pour prédire un sous-type tumoral, un biomarqueur, un pronostic. Les noms se sont multipliés — UNI, CONCH, Virchow, MUSK — et chacun arrive avec ses chiffres de performance, souvent éclatants. Le même mouvement gagne la transcriptomique (la mesure de l’activité des gènes, ou « omique »), avec des modèles comme UCE (Universal Cell Embeddings) qui veulent faire pour l’ARN ce que les précédents font pour l’image.

Trois questions restent pourtant mal tranchées. Ces représentations tiennent-elles sur des données hors distribution (out-of-distribution, OOD) — c’est-à-dire différentes de celles vues à l’entraînement, et surtout autres que le jeu public TCGA sur lequel presque tout le monde s’évalue ? Fusionner image et omique apporte-t-il vraiment quelque chose ? Et peut-on faire confiance aux prédictions ? C’est à ces trois questions — sondage, fusion, confiance — que s’attaque ce travail.

La méthode

Les auteurs travaillent par sondage (probing) : les foundation models sont gelés, on ne les réentraîne pas, on se contente d’apprendre une tête légère sur leurs embeddings figés. C’est la façon honnête de mesurer ce que les représentations contiennent déjà. Pour l’image, chaque cas devient un sac de tuiles encodées agrégées par une tête à attention (un multiple instance learning, ou MIL, méthode qui apprend à pondérer les fragments d’une lame sans annotation au niveau du pixel) ; pour l’omique, un perceptron multicouche sur le vecteur de gènes.

Les données ne viennent pas de TCGA mais d’une base commerciale, la Flatiron Health–Caris CMDB, soit deux cohortes américaines : 3747 patientes en cancer du sein et 3887 patients en cancer du poumon non à petites cellules (CPNPC), chacune avec lames H&E et transcriptome. Huit tâches de classification sont évaluées : site de biopsie, sous-type (quatre classes pour le sein), biomarqueurs PR et PIK3CA, perte d’hétérozygotie (LOH), site tumoral et charge mutationnelle (TMB) pour le poumon. Les classes trop rares (moins de 8 %) sont écartées.

Trois stratégies de fusion image-omique sont comparées : CONTACT (simple concaténation des vecteurs, dite fusion précoce), MCAT (fusion intermédiaire par co-attention entre modalités) et LateMIL (fusion tardive, au niveau de la décision). Enfin, la confiance est mesurée par prédiction conforme (conformal prediction) : plutôt qu’une seule étiquette, le modèle renvoie un ensemble d’étiquettes calibré pour contenir la bonne réponse avec une probabilité garantie — ici 90 %. Un ensemble petit et qui couvre bien est fiable ; un ensemble qui doit lister la moitié des classes pour tenir sa garantie avoue son incertitude.

Les résultats

Côté image, les foundation models brillent sur les tâches morphologiquement évidentes : distinguer une biopsie métastatique d’une primitive du sein donne une AUC supérieure à 0,90 (Virchow 0,94, UNI 0,93). L’AUC — aire sous la courbe ROC — vaut 1,0 pour un tri parfait et 0,5 pour le hasard. Mais sur le même type de tâche au poumon, l’AUC s’effondre à 0,63–0,65, et sur les biomarqueurs (PR, PIK3CA) elle plafonne autour de 0,79–0,82 au mieux : utile, loin d’un test autonome.

La vraie surprise vient de l’omique. Le foundation model dédié, UCE, est battu à la fois par scVI et par une simple analyse en composantes principales (ACP), technique de réduction de dimension qui date de 1901. Sur le sous-type du sein, l’ACP atteint une AUC de 0,8955, devant tous les modèles d’image et largement devant UCE (0,76). L’ACP signe d’ailleurs les meilleures AUC sur cinq tâches du sein. Les auteurs le disent sans détour : « construire des foundation models transcriptomiques efficaces reste un problème ouvert ».

La fusion ne sauve pas la mise de façon systématique. LateMIL est la plus régulière, mais le multimodal ne dépasse le meilleur unimodal que sur certaines tâches — et fait parfois moins bien, comme sur la charge mutationnelle du poumon où l’omique seule (ACP) l’emporte. Conclusion des auteurs : la fusion aide « surtout quand aucune modalité ne domine déjà le signal ».

Sur la confiance, les ensembles conformes tiennent leur garantie de couverture (0,90 à 0,93 selon la tâche), mais au prix d’une taille moyenne d’environ deux classes. Traduction clinique : sur le sous-type du sein, une tâche à quatre classes, le modèle renvoie en moyenne deux candidats plutôt qu’un — il refuse honnêtement de trancher la moitié du temps. La couverture de 0,90 signifie que, sur 100 patientes, la vraie étiquette manque à l’appel pour environ 10 d’entre elles. Et le « taux de rattrapage » de 72,6 % indique que, lorsque le premier choix du modèle est faux, la bonne réponse figure quand même dans l’ensemble proposé dans près de trois cas sur quatre.

Ce qui est bien

Un comparateur fort, et non un homme de paille. Inclure l’ACP et scVI face aux foundation models est exactement la rigueur qui manque au domaine : c’est ce comparateur honnête qui révèle que le modèle omique dédié n’apporte rien, voire dégrade. Trop d’études se comparent à un adversaire faible pour gonfler l’écart ; ici, c’est l’inverse.

Une évaluation réellement hors distribution. En sortant de TCGA pour une base commerciale américaine jamais vue au pré-entraînement, l’étude teste la transférabilité plutôt que la mémoire. Le risque de fuite d’information (data leakage) — mêmes patients ou mêmes images au train et au test, fléau classique du domaine — est écarté par construction, puisque les modèles sont gelés et la cohorte indépendante.

La confiance traitée comme une métrique, pas comme un slogan. La prédiction conforme offre une garantie de couverture sans hypothèse sur la distribution, et des prédictions sous forme d’ensembles — un format cliniquement parlant, qui dit « voici les deux sous-types plausibles » plutôt qu’une certitude trompeuse. C’est l’une des rares évaluations à mesurer l’incertitude aussi sérieusement que la performance.

Ce qui est moins bien

Un biais de population non quantifié. Les deux cohortes proviennent d’une seule source commerciale américaine (Flatiron–Caris) et de deux cancers seulement. Les auteurs reconnaissent des « disparités selon les sous-groupes » mais ne publient aucun tableau par sous-groupe (âge, origine, centre). Sans ces chiffres, impossible de savoir si la fiabilité tient pour les populations sous-représentées — c’est le biais de population laissé dans l’angle mort.

Des métriques qui peuvent flatter. L’exactitude (accuracy) est rapportée à côté de l’AUC, mais après avoir écarté les classes de moins de 8 % : sur des tâches déséquilibrées, retirer les classes rares gonfle mécaniquement la performance apparente. Et l’AUC élevée sur le site de biopsie sent le shortcut learning — le modèle exploite sans doute une signature morphologique grossière (tissu métastatique contre primitif) plutôt qu’une biologie fine, ce que confirme l’écart béant avec les biomarqueurs, autrement plus durs.

Reproductibilité et indépendance limitées. Ni code ni poids publiés ; les données sont commerciales et fermées (accès sur licence Flatiron/Caris). Les embeddings d’image ont été générés en interne, du côté industriel. Surtout, un auteur est affilié à Genentech (groupe Roche) sans qu’aucune déclaration formelle de conflit d’intérêts ne figure dans le texte récupéré — une lacune sur un sujet où l’industrie a un intérêt direct.

Ce que ça change

Pour la communauté de recherche, ce papier est un utile rappel à l’ordre. Il documente noir sur blanc que les foundation models transcriptomiques actuels n’ont pas encore dépassé une ACP, que la fusion multimodale n’est pas une recette universelle, et que la prédiction conforme devrait devenir un standard d’évaluation. Le verrou n’est pas d’empiler des modalités mais d’aligner des représentations qui se complètent vraiment.

Pour les cliniciens, rien n’est déployable aujourd’hui : aucune tâche n’atteint une performance d’outil autonome, et tout repose sur des données rétrospectives d’une seule source. Le message exploitable est plus subtil : un modèle qui répond honnêtement « deux sous-types plausibles » via un ensemble conforme est plus sûr en pratique qu’un modèle qui tranche avec un aplomb injustifié.

Pour les patients et le grand public, l’IA en cancérologie n’est pas un modèle magique unique. Pour lire le transcriptome d’une tumeur, la statistique classique reste compétitive ; pour lire une lame, les gros modèles aident surtout sur les questions faciles. La fiabilité, ici, se mesure à la capacité du modèle à reconnaître quand il ne sait pas — une qualité plus rassurante qu’une AUC spectaculaire.

Pour aller plus loin

Le préprint : Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis (arXiv:2606.17115, DOI 10.48550/arXiv.2606.17115). Les foundation models de pathologie évalués — UNI, CONCH, Virchow, MUSK — et le modèle omique UCE (Universal Cell Embeddings). Pour le contexte sur les modèles de fondation en pathologie, voir notre décryptage de GigaPath. Sur la méthode statistique de garantie, voir l’introduction de référence à la prédiction conforme (Angelopoulos & Bates).

Transparence éditoriale : ce Décryptage est rédigé en français puis traduit en anglais, espagnol et chinois avec assistance IA, et relu. Chaque chiffre est vérifié contre le préprint original. Tatakoto n’a aucun lien avec les auteurs ni leurs institutions.