Les foundation models d'imagerie médicale sont-ils interchangeables ? Ce que révèle une dissection contrôlée de 25 encodeurs sur la « convergence » des représentations

Une équipe universitaire allemande a testé une idée devenue lieu commun : en grandissant, les encodeurs d'images médicales convergeraient vers une représentation partagée, ce qui les rendrait interchangeables. En disséquant 25 encodeurs open-weight (18 d'images, 7 de texte), de 7 millions à 27 milliards de paramètres, sur cinq modalités et 650 982 radiographies thoraciques, les auteurs montrent que la convergence est réelle mais modeste, qu'elle est pilotée par l'objectif d'apprentissage auto-supervisé et non par l'échelle ni par la supervision clinique, et qu'elle ne reproduit pas la façon dont un radiologue juge la similarité entre deux cas.

Le contexte

Un foundation model d'imagerie médicale n'est pas un diagnostiqueur : c'est d'abord un encodeur, un réseau de neurones pré-entraîné qui transforme une image — une radiographie, une coupe de scanner, une lame — en un vecteur de nombres, une « empreinte » compacte censée résumer son contenu. On branche ensuite dessus un petit classifieur pour une tâche précise (détecter une pneumonie, un nodule, une fracture). L'intérêt : un seul encodeur bien entraîné sert des dizaines de tâches avec peu de données annotées.

Depuis deux ans, les hôpitaux et les éditeurs mélangent ces encodeurs comme des briques interchangeables — on remplace l'un par l'autre en supposant qu'ils « voient » la même chose. Cette intuition s'appuie sur une hypothèse à la mode en apprentissage automatique, parfois appelée Platonic Representation Hypothesis : à mesure que les modèles grandissent et s'entraînent sur plus de données, leurs représentations internes convergeraient vers une même structure géométrique partagée. Si c'était vrai en médecine, cela justifierait de traiter deux encodeurs différents comme équivalents. Le problème, souligné par les auteurs, est double : personne n'a vérifié proprement que cette convergence est réelle en imagerie médicale, et les outils qui la mesurent — les mesures de similarité entre représentations — sont notoirement fragiles, c'est-à-dire qu'un même couple de modèles peut paraître très proche ou très éloigné selon la métrique choisie.

La méthode

Le travail est une dissection contrôlée, pas un benchmark de performance. Les auteurs réunissent 25 encodeurs open-weight (poids publics, exécutés localement, donc reproductibles) : 18 encodeurs d'images et 7 encodeurs de texte, allant de 7 millions à 27 milliards de paramètres, sur cinq modalités d'imagerie. Le socle empirique est massif côté radiographie thoracique : 650 982 clichés issus de six jeux de données distincts.

Trois familles d'objectifs d'entraînement sont comparées. L'auto-supervision (self-supervised learning) : le modèle apprend à partir des images seules, sans étiquette, en résolvant des tâches internes (reconstruire une portion masquée, rapprocher deux vues d'une même image). La supervision par étiquettes : le modèle est entraîné à prédire des diagnostics annotés. Et l'apprentissage image-texte : le modèle aligne images et comptes rendus, à la manière de CLIP. Pour ne pas confondre corrélation et cause, les auteurs vont plus loin qu'une simple comparaison de modèles existants : ils entraînent eux-mêmes des encodeurs qui ne diffèrent que par l'objectif, à données, architecture et taille identiques, puis reproduisent l'effet dans un modèle synthétique jouet. C'est la partie décisive du protocole : elle isole ce qui cause la convergence.

La convergence est quantifiée par une mesure d'alignement entre représentations (à quel point deux encodeurs organisent les mêmes images en voisinages semblables), comparée à un « plancher aléatoire » — le niveau d'alignement qu'on obtiendrait par pur hasard. Enfin, un test d'usage clinique : entraîner un classifieur linéaire (le plus simple possible : une combinaison pondérée des dimensions de l'empreinte) sur les représentations d'un encodeur, puis mesurer combien de performance il conserve quand on le transfère à un autre encodeur et à cinq hôpitaux jamais vus à l'entraînement.

Les résultats

La convergence existe, mais elle est modeste : au-dessus du plancher aléatoire, sans plus. Surtout, elle n'est pas produite par ce qu'on croyait. Ce sont les encodeurs auto-supervisés appariés qui s'alignent le plus — 40,4 % sur la radiographie thoracique — très loin devant les modèles supervisés par étiquettes (21,1 %) et les modèles image-texte (3,3 %). Autrement dit, l'objectif d'entraînement décide presque tout, et la supervision clinique (les étiquettes de diagnostic) aligne moins, pas plus.

Deuxième surprise, la convergence n'augmente pas avec la taille : la corrélation entre nombre de paramètres et alignement n'est pas significative (Spearman 0,302, p = 0,223). Un modèle plus gros n'est donc pas mécaniquement plus « convergent » qu'un petit — l'argument « l'échelle finit par tout unifier » ne tient pas ici. La convergence reste aussi intra-modalité : elle ne relie pas les images au langage clinique, et — point capital — elle ne reproduit pas la manière dont des radiologues jugent que deux cas se ressemblent. La géométrie partagée des modèles et le jugement de similarité des experts ne coïncident pas.

Pourtant, un résultat va dans l'autre sens et nuance le tableau : un classifieur linéaire entraîné sur un encodeur se transfère à d'autres encodeurs et à cinq hôpitaux non vus en conservant environ 85 % de la performance obtenue « à domicile ». Traduit en termes opérationnels : porter une tête de décision d'un encodeur ou d'un site à l'autre coûte de l'ordre de 15 % de performance relative. Pour un outil de dépistage, ce n'est pas anodin — si la sensibilité « à domicile » était de 90 %, une perte relative de 15 % la ramènerait autour de 76 %, soit un dépisté positif sur sept qui bascule dans les faux négatifs. La portabilité existe, mais elle n'est ni gratuite ni garantie, et elle demande une revalidation locale.

Ce qui est bien

Un protocole causal, pas seulement descriptif. La plupart des travaux sur la « convergence » se contentent de mesurer la ressemblance de modèles existants — ce qui mélange l'effet de l'objectif, des données, de l'architecture et de la taille. Ici, les auteurs entraînent des encodeurs ne variant que par l'objectif, à tout le reste constant, et rejouent l'effet dans un modèle synthétique contrôlé. Cette discipline expérimentale permet une affirmation causale — « c'est l'objectif qui produit l'alignement » — que les études corrélationnelles ne peuvent pas soutenir.

De l'échelle et de la transparence. Vingt-cinq encodeurs open-weight exécutés localement, de 7 M à 27 Md de paramètres, cinq modalités, 650 982 radiographies thoraciques issues de six sources : le socle est large et reproductible, et le choix de poids publics évite la boîte noire d'API propriétaires. Le préprint est sous licence libre CC BY 4.0.

Une honnêteté sur la fragilité de la mesure. Le point de départ des auteurs est que les mesures de similarité entre représentations sont fragiles — et plutôt que de balayer le problème, ils en font le cœur du travail : ils testent l'usabilité clinique de la convergence (transfert d'un classifieur, comparaison au jugement des radiologues) au lieu de s'arrêter à un chiffre d'alignement abstrait. Confronter sa propre métrique au réel plutôt que la présenter comme une vérité est exactement la posture qu'on attend.

Ce qui est moins bien

Une métrique dont le sens absolu reste trompeur. « 40,4 % d'alignement » n'a pas d'interprétation clinique directe : c'est une position sur une échelle de similarité qui dépend de l'estimateur choisi, et dont on ne sait pas quel seuil rendrait deux encodeurs « cliniquement équivalents ». Même contrôlée, cette métrique trompeuse ne dit pas si un patient serait mieux ou moins bien classé — elle dit seulement que les géométries se ressemblent partiellement. Le risque, symétrique de celui qu'elle dénonce, est qu'un lecteur pressé lise « convergence » comme « interchangeabilité prouvée », alors que l'article dit l'inverse.

Le point le plus important pour la clinique est affirmé mais peu instrumenté. Les auteurs concluent qu'il faut valider « là où la géométrie partagée est la plus faible, à travers les sous-groupes de patients ». C'est la bonne recommandation, mais le biais de population — performance qui s'effondre sur des sous-populations (âge, sexe, origine, appareil, hôpital) — n'est pas cartographié en détail dans le corps du travail, très concentré sur la radiographie thoracique et sur des jeux de données publics à dominante occidentale. On mesure une géométrie et un transfert moyen, jamais un devenir clinique par sous-groupe, et sans validation prospective.

De la représentation au patient, le chemin reste long. Le transfert « 85 % conservés » est relatif à la performance intra-encodeur, pas une sensibilité ou une spécificité absolue sur une tâche déployée. L'étude évalue une propriété des empreintes et un probe linéaire, pas un dispositif en conditions réelles ; la promesse d'interopérabilité (« ça marche avec n'importe quel encodeur ») n'est donc démontrée ni cliniquement, ni prospectivement. Enfin, c'est un préprint non encore relu par les pairs.

Ce que ça change

Pour la communauté de recherche, l'étude enterre un raccourci confortable : non, l'échelle et la supervision clinique ne font pas converger automatiquement les encodeurs médicaux vers une représentation commune. Ce qui gouverne l'alignement, c'est l'objectif de pré-entraînement, et l'auto-supervision y contribue plus que les étiquettes. Conséquence pratique : l'interopérabilité entre modèles n'est pas un cadeau de la taille, c'est une propriété à concevoir — via l'objectif d'entraînement — puis à valider précisément là où la géométrie partagée est la plus faible. Au passage, le travail rappelle l'hygiène nécessaire des mesures de similarité, trop souvent citées comme des vérités.

Pour les cliniciens, rien à déployer, mais un avertissement utile : remplacer « sous le capot » un foundation model par un autre n'est pas neutre. Un fournisseur qui affirme que son outil « fonctionne avec n'importe quel encodeur » ou « se transpose à tout hôpital » avance une promesse que ce travail invite à vérifier site par site et sous-groupe par sous-groupe, pas à croire sur parole. La bonne question n'est pas « ces modèles convergent-ils ? » mais « conservent-ils ma sensibilité sur ma population ? ».

Pour les patients et le grand public, l'étude tempère l'image d'un grand « cerveau médical » unique vers lequel toutes les IA convergeraient. Les modèles de laboratoires différents ne sont pas secrètement les mêmes, et leur ressemblance interne ne reproduit pas le jugement d'un radiologue. Concrètement, la sécurité d'un outil d'imagerie ne se déduit pas de sa parenté avec un autre : elle se démontre sur place, sur les populations réellement concernées.

Pour aller plus loin

Le préprint est disponible sur arXiv (2607.20274), déposé le 22 juillet 2026 par Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather et Daniel Truhn (équipes universitaires allemandes en radiologie et informatique médicale) ; il est sous licence CC BY 4.0 et n'a pas encore été relu par les pairs. Sur les foundation models d'imagerie et leurs angles morts, voir nos décryptages sur la robustesse et la généralisation des foundation models d'histopathologie, sur le probing multimodal et la confiance des foundation models en cancérologie, et sur les biais cachés par sous-groupes dans l'imagerie médicale.

Transparence éditoriale : version française rédigée et signée par la rédaction de Tatakoto à partir de la lecture du préprint. Traductions anglaise, espagnole et chinoise produites avec assistance IA et relues.