Opérer ou non un cancer du pancréas : ce qu'un modèle multimodal CT + données cliniques apprend vraiment à trier

Une équipe de l'Université de Bâle, du Kantonsspital Aarau et du Royal Free Hospital de Londres entraîne un modèle de deep learning qui fusionne le scanner 3D injecté et 17 variables cliniques pour classer 159 patients atteints d'adénocarcinome du pancréas dans les trois catégories de résécabilité NCCN. L'AUC atteint 0,86 en validation croisée interne et 0,86 sur une cohorte externe indépendante de 52 patients d'Aarau — une validation externe rare dans ce domaine. Mais la vérité-terrain n'est que le consensus d'une réunion de concertation pluridisciplinaire, la cohorte est petite et entièrement suisse, et aucune étude ne compare le modèle à des radiologues en conditions réelles.

Le contexte

L'adénocarcinome canalaire du pancréas (PDAC) est l'un des cancers les plus meurtriers : il représente plus de 90 % des cancers du pancréas, avec une survie à cinq ans inférieure à 10 %. La seule option curative est la résection chirurgicale complète (dite R0), mais moins de 20 % des patients y sont éligibles. Décider qui peut être opéré — la « résécabilité » — repose avant tout sur la relation entre la tumeur et les grands vaisseaux péripancréatiques visibles au scanner injecté : l'artère mésentérique supérieure (AMS), la veine mésentérique supérieure (VMS), la veine porte et le tronc cœliaque. Le référentiel américain NCCN définit trois catégories : d'emblée résécable, borderline (à la limite), et localement avancé. L'enjeu est lourd : un patient borderline reçoit en général une chimiothérapie néoadjuvante puis une chirurgie, un localement avancé bascule vers un traitement non chirurgical.

Le problème est que ce jugement est peu reproductible : l'accord inter-observateurs sur la résécabilité reste souvent inférieur à 70 %, même avec des critères standardisés. D'où l'idée d'automatiser la lecture. Les travaux antérieurs se limitaient soit à segmenter les organes, soit à prédire à partir de la seule image, sans intégrer les variables cliniques qui pèsent en réunion de concertation (comorbidités, marqueurs tumoraux comme le CA 19-9). Beaucoup exigeaient en plus un masque de segmentation au moment de l'inférence, ce qui complique le déploiement. Ce papier propose un cadre de bout en bout qui combine l'image et le contexte clinique, et qui n'a plus besoin de masque une fois entraîné.

La méthode

Le cœur du modèle est un Swin-UNETR : un réseau encodeur-décodeur dont l'encodeur est un transformer — l'architecture qui traite une donnée en pondérant l'importance relative de ses éléments — à « fenêtres décalées », adapté à la 3D et particulièrement bon pour délimiter de fines structures vasculaires. Pendant l'entraînement, le décodeur apprend une tâche auxiliaire de segmentation de 16 classes anatomiques (pancréas, tumeur, veine porte, VMS, AMS, tronc cœliaque, aorte, veine cave, artères hépatiques, canal pancréatique dilaté, cholédoque…). Cette supervision force l'encodeur à produire des représentations « conscientes des vaisseaux ». Le goulot de l'encodeur sort un vecteur de 256 dimensions.

En parallèle, 17 variables cliniques routinières (âge, sexe, IMC, indice de comorbidité de Charlson, score ASA, diabète, tabac, alcool, CA 19-9 initial, sa variation et sa valeur après néoadjuvant, CEA, glycémie, HbA1c, bilirubine, grade histologique, statut néoadjuvant) passent dans un petit perceptron multicouche (MLP) qui produit un vecteur de 32 dimensions. Les deux vecteurs sont concaténés en une représentation de 288 dimensions, puis une tête de classification prédit les trois catégories NCCN. L'entraînement suit un objectif multitâche dynamique : le poids relatif de la segmentation et de la classification s'ajuste automatiquement selon le Dice (le taux de recouvrement entre segmentation prédite et réelle) de la tumeur — on apprend d'abord l'anatomie, puis on bascule vers la décision. Détail important pour la pratique : les masques ne servent qu'à l'entraînement ; à l'inférence, le modèle prédit la résécabilité sans qu'on ait à segmenter quoi que ce soit. Les scanners sont ré-échantillonnés à 1 mm isotrope, recadrés à 160×160×160 voxels, normalisés, et l'encodeur est pré-entraîné sur le jeu abdominal public BTCV.

La cohorte principale compte 159 patients avec PDAC confirmé histologiquement, issus de l'Hôpital universitaire de Bâle et de l'hôpital St. Clara (imagerie provenant de trois établissements) : 85 d'emblée résécables (53,5 %), 47 borderline (29,5 %), 27 localement avancés (17 %). Les étiquettes NCCN sont celles décidées en réunion de concertation pluridisciplinaire, puis relues par un médecin indépendant. Une cohorte externe de 52 patients du Kantonsspital Aarau (28/14/10), jamais utilisée pour le développement, sert de test de généralisation. L'évaluation interne utilise une validation croisée imbriquée et stratifiée à cinq plis : 20 % des données sont mises de côté comme test à chaque pli externe, le reste servant à l'entraînement et au réglage. La performance se lit en AUC (aire sous la courbe ROC : la probabilité que le modèle sépare correctement deux classes), en F1 macro (moyenne équilibrée entre précision et rappel sur les trois classes) et en exactitude.

Les résultats

En validation croisée interne, le modèle multimodal atteint une AUC de 0,86, un F1 macro de 0,79 et une exactitude de 0,85. Sur la cohorte externe d'Aarau, il tient : AUC 0,86, F1 macro 0,81, exactitude 0,87 — une stabilité inhabituelle entre centres. La segmentation auxiliaire, elle, atteint un Dice de 0,82 pour le pancréas, 0,71 pour la tumeur et 0,67 pour les grands vaisseaux : imparfaite, mais suffisante pour guider l'encodeur. Le modèle bat les deux comparateurs ré-implémentés par les auteurs : une approche fondée sur la segmentation et des mesures géométriques (Viviers, AUC 0,79 en interne) et un transformer sensible à la texture (TAT, 0,83). Les ablations sont éclairantes : le modèle image seule obtient 0,82, le modèle données cliniques seules seulement 0,74, et une analyse de « knockout » (on remplace une modalité par sa moyenne) montre que l'essentiel du signal vient de l'image (0,83 sans le clinique, 0,77 sans l'image). L'image porte donc le diagnostic, le clinique l'affine.

La traduction clinique est ici décisive, car les trois classes ne sont pas également faciles ni également graves à confondre. Le F1 par classe est de 0,83 pour les résécables, 0,78 pour les borderline, mais tombe à 0,70 pour les localement avancés — la classe la plus rare (27 cas en interne, 10 en externe). Or c'est précisément la frontière la plus lourde de conséquences : classer à tort un patient localement avancé comme résécable peut l'envoyer vers une chirurgie inutile et morbide ; l'inverse peut lui refuser une opération potentiellement curative. Avec une exactitude de 0,85, environ un patient sur sept est mal classé — un chiffre à mettre en regard d'un accord humain lui-même souvent inférieur à 70 %, mais qui interdit tout usage autonome. Les auteurs ajoutent une vérification de bon sens : à partir des segmentations prédites, ils retrouvent des angles de contact tumeur-vaisseau cohérents avec les définitions NCCN (contact artériel ≥ 180° ↔ localement avancé), suggérant que le modèle a bien appris une géométrie plausible et non un raccourci.

Ce qui est bien

Une validation externe, chose rare. La plupart des modèles d'IA en imagerie ne sont jamais testés hors de leur centre d'origine — et c'est là qu'ils s'effondrent. Ici, la performance reste identique (AUC 0,86) sur une cohorte d'Aarau jamais vue à l'entraînement, avec une validation croisée imbriquée correctement conçue (test tenu à l'écart du réglage des hyperparamètres). Détail notable : la cohorte externe avait des données cliniques complètes, sans imputation, ce qui indique que l'imputation appliquée à l'entraînement n'a pas introduit de biais détectable.

Une inférence sans masque, pensée pour la clinique. La segmentation sert d'échafaudage pédagogique pendant l'entraînement puis disparaît : le modèle final prédit la résécabilité directement à partir du scanner, sans étape manuelle de segmentation. C'est exactement l'obstacle de déploiement que les pipelines antérieurs traînaient. L'objectif multitâche adaptatif (basculer de l'anatomie vers la décision à mesure que le Dice tumoral progresse) est une idée simple et bien ablatée.

Des comparateurs et des ablations honnêtes. Les auteurs ne se contentent pas d'afficher leur meilleur chiffre : ils ré-implémentent deux méthodes concurrentes, testent image seule, clinique seule, et le « knockout » de chaque modalité. On voit précisément d'où vient le signal (l'image), et l'on constate que la fusion par simple concaténation suffit — les mécanismes d'attention croisée plus complexes n'apportaient rien et déstabilisaient l'entraînement à cette taille de cohorte. Code public, licence CC BY 4.0.

Ce qui est moins bien

La vérité-terrain est une décision humaine, pas un résultat chirurgical. C'est la limite la plus profonde. Les étiquettes NCCN sont celles fixées en réunion de concertation, non confirmées par la chirurgie ou l'anatomopathologie (résection R0 effective). Le modèle apprend donc à reproduire ce que dirait une réunion de concertation — avec ses biais et, mécaniquement, une part du désaccord inter-observateurs de 30 % que les auteurs invoquent eux-mêmes pour justifier l'étude. Un outil qui imite un consensus imparfait ne peut pas, par construction, faire mieux que ce consensus ; il peut surtout l'homogénéiser. C'est un mode d'échec de type comparateur biaisé : la référence n'est pas un fait dur mais un jugement.

Une cohorte petite et géographiquement étroite. 159 + 52 patients, tous suisses, avec une classe « localement avancé » réduite à 27 et 10 cas — d'où des intervalles et un F1 de 0,70 sur cette classe critique. La validation « externe » d'Aarau partage le même pays, les mêmes recommandations et des équipements proches : le décalage de domaine y est faible. Rien ne dit que le modèle tiendrait sur des scanners d'un autre continent, d'autres protocoles d'injection, ou une population différente. C'est un mode d'échec de type métrique trompeuse couplé à un biais de population : une AUC macro élevée sur trois classes déséquilibrées lisse la faiblesse sur la minorité qui compte le plus.

Aucune étude lecteur, aucune évaluation prospective. Le papier ne compare pas le modèle à des radiologues ou chirurgiens en conditions standardisées, ne mesure pas s'il réduit réellement le désaccord inter-observateurs, et reste rétrospectif. Les masques de segmentation sont semi-automatiques (relus par jusqu'à cinq médecins), et le Dice vasculaire n'est que de 0,67 : les fameuses représentations « conscientes des vaisseaux » reposent sur une délimitation imparfaite des vaisseaux eux-mêmes. L'explicabilité est renvoyée à des travaux futurs. Autrement dit, on a une preuve de concept solide, pas un outil validé pour la décision.

Ce que ça change

Pour la communauté de recherche, le papier est une démonstration nette que fusionner une image 3D « consciente des vaisseaux » et des variables cliniques structurées, avec une inférence sans masque, est faisable et généralise entre deux centres suisses. La recette (supervision anatomique auxiliaire + pondération multitâche adaptative + fusion simple) est reproductible et le code est ouvert. La prochaine étape obligée est double : une validation multi-continentale sur des scanners hétérogènes, et surtout un ancrage de la vérité-terrain sur des résultats chirurgicaux et anatomopathologiques réels, pas seulement sur le verdict d'une réunion.

Pour les cliniciens, rien ne change aujourd'hui dans la pratique. Au mieux, on entrevoit un futur outil d'aide à la standardisation de la lecture de résécabilité — utile précisément parce que l'accord humain est faible — mais il faudra d'abord une étude lecteur prospective montrant qu'il réduit les erreurs sans en introduire de nouvelles, en particulier sur la frontière borderline / localement avancé où se jouent des décisions opératoires.

Pour les patients et le public, le message est de tempérer l'enthousiasme : « AUC 0,86 » ne signifie pas « l'IA décide qui opérer ». Cela signifie qu'un modèle, sur une population suisse restreinte, reproduit assez bien le classement d'une réunion d'experts — laquelle se trompe elle-même dans environ un tiers des cas litigieux. La décision d'opérer un cancer du pancréas reste, et pour longtemps, une décision humaine collégiale.

Pour aller plus loin

Le préprint « Multimodal Assessment of Pancreatic Cancer Resectability Using Deep Learning » (accepté à MIDL 2026) est disponible sur arXiv (10.48550/arXiv.2607.13826), signé Vincent Ochs, Christoph Kuemmerli, Florentin Bieder, Julia Wolleb, Joël L. Lavanchy, Julia Ruppel, Jan Liechti, Stephanie Taha-Mehlitz, Christian A. Nebiker, Beat Müller, Giuseppe K. Fusai, Joerg-Matthias Pollok, Anas Taha, Philippe C. Cattin et Sebastian Staubli (Université de Bâle, Department of Biomedical Engineering ; Clarunis, University Digestive Health Centre, Bâle ; Kantonsspital Aarau ; Royal Free Hospital, Londres). Financements : Research Fund for Junior Researchers de l'Université de Bâle, Fonds national suisse (P5R5PM 21766), Fondation Novartis pour la recherche médico-biologique (23C162), Fondation Vontobel ; aucun conflit d'intérêts déclaré. Code public sous licence CC BY 4.0 (github.com/vincentochs/pancreas_resectability), données et poids sur demande. Sur la segmentation et la fusion multimodale en oncologie par IA, voir nos décryptages sur la segmentation UNETR du cancer de la prostate en TEP-TDM et la prédiction de survie, sur la fusion multimodale des foundation models en cancérologie, et sur les signatures radiomiques profondes pour la classification de tumeurs.

Transparence éditoriale : version française rédigée et signée par la rédaction de Tatakoto à partir de la lecture du préprint. Les métriques (AUC 0,86 interne et externe, F1 macro 0,79/0,81, F1 de 0,70 sur la classe localement avancé) sont celles rapportées par les auteurs sur des cohortes de 159 et 52 patients. Traductions anglaise, espagnole et chinoise produites avec assistance IA et relues.