Prédire le delirium en réanimation d'un hôpital à l'autre : ce qui se transporte, ce qui ne se transporte pas

Shengliang Ni et Kengo Sato (Institute of Science Tokyo) entraînent cinq familles de modèles à prédire le delirium en réanimation sur deux grandes bases de dossiers de soins intensifs — eICU, agrégée sur 208 hôpitaux américains, et MIMIC-IV, issue d'un seul centre à Boston — puis les font changer de base pour observer ce qui résiste au changement d'hôpital. Le classement des patients par risque se transporte plutôt bien (AUROC externe jusqu'à 0,88–0,95 dans un sens), mais la calibration des probabilités et le seuil d'alerte, eux, ne se transportent pas. La leçon n'est pas un chiffre : c'est une distinction, la « transportabilité » d'un modèle clinique se décompose en couches qui ne voyagent pas ensemble, et confondre un bon classement avec un outil déployable est le piège que ce travail démonte.

Le contexte

Le delirium est une confusion aiguë et fluctuante de l'attention et de la conscience, très fréquente en réanimation, souvent sous-diagnostiquée, associée à un pronostic plus lourd. Il ne se lit pas sur un dosage : il se repère par des échelles répétées au lit du patient, la CAM-ICU (Confusion Assessment Method for the ICU) et l'ICDSC (Intensive Care Delirium Screening Checklist). L'attrait d'un modèle prédictif est évident : signaler tôt les patients à risque pour renforcer la surveillance et la prévention.

Le problème récurrent de ces modèles est le « distribution shift » — le décalage de distribution : un modèle entraîné dans un hôpital fonctionne moins bien ailleurs, parce que les populations, les pratiques de documentation et les taux de la maladie diffèrent. La plupart des travaux publiés se contentent d'une validation interne (même hôpital, données mises de côté) et rapportent une AUC flatteuse. Ni et Sato posent une question plus fine : quand un modèle change réellement de base de données, qu'est-ce qui se dégrade, et surtout, tout se dégrade-t-il de la même manière ? Leur réponse est que la transportabilité n'est pas un tout-ou-rien mais un empilement de couches — la définition de la cible, le classement des risques, la calibration des probabilités, la politique d'alerte — qui ne se transfèrent pas au même rythme.

La méthode

Les auteurs utilisent deux bases publiques de réanimation. eICU couvre 28 321 séjours (années 2014–2015, 335 unités réparties dans 208 hôpitaux américains), soit 2 496 432 fenêtres temporelles ; MIMIC-IV couvre 49 828 séjours d'un centre unique de Boston (2008–2022), soit 5 881 343 fenêtres. Une « fenêtre » est un instant où le modèle, à partir de l'historique récent du patient, doit prédire l'avenir proche. La cible principale est le delirium persistant ou récurrent dans les 4 heures suivantes, un point positif étant classé persistant/récurrent si l'épisode observé dépasse 48 heures ou revient après une interruption d'au moins 48 heures.

Un fait structurant : les évaluations de delirium sont rares et inégales. Un état évalué n'est disponible que dans 15,3 % des fenêtres eICU contre 7,8 % des fenêtres MIMIC-IV, et parmi les évaluations explicites, la part de positifs est de 9,5 % dans eICU contre 29,6 % dans MIMIC-IV — près d'un facteur trois d'écart de fréquence entre les deux hôpitaux. Cinq familles de modèles sont comparées sur 137 variables (démographie, constantes vitales, biologie, scores neurologiques, médicaments, support respiratoire, variables du processus d'observation) : une régression logistique LASSO (linéaire parcimonieuse), XGBoost (arbres de décision boostés, non linéaire), et trois modèles de séquence — GRU, LSTM et Transformer — qui lisent l'ordre chronologique des mesures. La validation est bidirectionnelle : entraînement dans une base, évaluation dans l'autre sans réentraînement (eICU→MIMIC-IV et MIMIC-IV→eICU), avec un découpage 70 % / 15 % / 15 % gardant ensemble toutes les fenêtres d'un même séjour. Les comparateurs de référence sont des courbes descriptives fondées sur le score de Glasgow (GCS) et l'échelle de sédation RASS.

Les résultats

En validation interne, la discrimination — la capacité à classer un futur cas au-dessus d'un futur non-cas, mesurée par l'AUROC (aire sous la courbe ROC ; 0,5 = hasard, 1,0 = parfait) — est élevée : 0,87–0,92. Dès qu'on change de base, elle chute : sur l'étiquette « grossière », l'AUROC externe tombe entre 0,66 et 0,83 selon le sens et le modèle. Sur la cible affinée du delirium persistant/récurrent, mesurée au niveau du séjour, le classement se comporte mieux : AUROC externe de 0,88 à 0,95 dans le sens MIMIC-IV→eICU, mais de 0,76 à 0,89 seulement dans le sens inverse — la transportabilité est asymétrique. Point important : sur la cible du delirium nouvellement apparu (cas strictement de novo), l'AUROC externe s'effondre à 0,50–0,58, c'est-à-dire au niveau du hasard. Le tri par risque garde toutefois une utilité : le décile le plus à risque concentre les futurs cas avec un enrichissement de 2,4 à 6,9 fois par rapport à la fréquence de base.

D'où vient cette discrimination ? En retirant tout l'historique des évaluations antérieures, l'AUROC externe chute de 0,16 à 0,32 point : le modèle s'appuie massivement sur la trace documentée du delirium passé, pas sur la physiologie brute. La calibration, elle, ne se transporte pas : il n'existe aucune correspondance commune entre probabilités prédites et fréquences observées d'une base à l'autre (dans un sens le modèle surestime dans la tranche haute, dans l'autre il sous-estime), et les pentes de calibration sont trop instables pour être chiffrées faute d'assez d'évènements. Enfin, les auteurs figent une politique de revue à deux seuils (écarter / revoir / alerter) et l'appliquent à l'aveugle sur l'autre base. Le tri de mise à l'écart est très sûr — valeur prédictive négative de 99,8 % et 98,5 % selon le sens — mais la zone d'alerte ne capte que 9,2 % et 11,0 % des fenêtres réellement suivies d'un delirium. Traduit clinique : sur dix fenêtres qui vont virer au delirium, la couche d'alerte figée en rate environ neuf. L'outil rassure fiablement les patients à bas risque, mais fait une alarme précoce médiocre lorsqu'on transporte tel quel le seuil choisi ailleurs.

Ce qui est bien

Une validation croisée bidirectionnelle sur deux grandes bases réelles. Entraîner puis évaluer dans les deux sens (eICU↔MIMIC-IV), sur des millions de fenêtres et cinq familles de modèles, va bien au-delà de la validation interne habituelle. C'est précisément ce protocole qui rend visible l'asymétrie (0,88–0,95 dans un sens, 0,76–0,89 dans l'autre) qu'une évaluation à sens unique aurait masquée.

La décomposition en couches, honnête et opérationnelle. Séparer explicitement définition de la cible, classement, calibration et politique d'alerte est une contribution conceptuelle utile : elle montre qu'un modèle peut « marcher » sur un critère (le classement) tout en étant inutilisable sur un autre (la calibration ou le seuil). C'est un cadre reproductible, pas un slogan.

Une analyse d'ablation qui révèle le mécanisme. En chiffrant la perte d'AUROC quand on retire l'historique des évaluations (0,16–0,32), les auteurs montrent d'où vient la performance : le modèle suit une trajectoire documentée plutôt qu'il ne prédit une apparition biologique. Nommer ce mécanisme, plutôt que le cacher derrière une AUC élevée, est exactement ce qu'on attend d'un travail sérieux.

Ce qui est moins bien

La métrique trompeuse. Une AUROC de 0,90 laisse croire à un outil prêt, alors que la calibration ne se transporte pas et que la couche d'alerte figée manque environ neuf futurs cas sur dix. Pire, sur le delirium strictement nouveau, l'AUROC externe (0,50–0,58) est au niveau du hasard : la belle discrimination globale repose surtout sur des cas déjà documentés, pas sur la prédiction d'un évènement à venir. La discrimination seule ne dit rien de l'utilité au lit.

Un estimand conditionné par l'observation, proche du shortcut learning. Comme les évaluations de delirium sont rares (7,8–15,3 % des fenêtres) et que le modèle s'appuie sur leur historique, il apprend en partie l'intensité de surveillance, la suspicion des cliniciens et les habitudes de documentation — pas seulement la maladie. Les auteurs le reconnaissent : l'estimand est conditionné par le processus d'observation et ne doit pas être extrapolé aux instants non évalués ni à l'incidence réelle du delirium. C'est un mode d'échec classique — le modèle apprend un raccourci (la trace de surveillance) corrélé à la cible.

Biais de population, comparateur faible, absence de prospectif. Les taux de positifs diffèrent d'un facteur trois entre les deux bases (9,5 % contre 29,6 %), MIMIC-IV est monocentrique, et l'étude ne repose que sur deux bases américaines rétrospectives. Les comparateurs (courbes GCS et RASS) sont descriptifs, pas des références fortes. Les étiquettes sont des définitions opérationnelles, non des diagnostics adjugés. Surtout, aucune évaluation prospective, aucun bénéfice clinique ni gain de charge de travail n'est démontré — les auteurs insistent eux-mêmes sur ce point.

Ce que ça change

Pour la communauté de recherche, le papier offre un gabarit de validation « en couches » qui devrait devenir un minimum : rapporter la seule AUROC externe ne suffit plus, il faut aussi tester la calibration et la politique de décision dans la base cible. La distinction entre ce qui se transporte (le classement) et ce qui ne se transporte pas (probabilités, seuils) éclaire pourquoi tant de modèles « validés » déçoivent une fois déployés.

Pour les cliniciens et les équipes d'intégration, le message est net : un modèle qui affiche une bonne AUC dans un autre hôpital n'est pas prêt à l'emploi. Il faut le recalibrer localement et re-choisir les seuils sur ses propres données. La tranche « à écarter » (valeur prédictive négative ~99 %) peut aider au triage et à rassurer, mais la couche d'alerte transportée telle quelle rate la majorité des cas — une fausse sécurité si on l'utilise comme alarme.

Pour les patients et le grand public, l'enjeu est invisible mais réel. Le delirium en réanimation est fréquent et évitable en partie par une surveillance renforcée. Un outil mal calibré déclencherait trop ou trop peu d'alertes selon l'hôpital ; la fiabilité de forme d'un modèle importé ne garantit pas sa justesse locale. La leçon utile : exiger que ces outils soient validés sur les données de l'établissement où ils seront réellement utilisés, calibration et seuils compris.

Pour aller plus loin

Le preprint est disponible sur medRxiv (DOI 10.64898/2026.07.19.26358409), financé par la Japan Science and Technology Agency, sans conflit d'intérêts déclaré, sous licence CC BY-NC-ND 4.0. Les deux bases sont accessibles via PhysioNet aux utilisateurs accrédités : eICU Collaborative Research Database et MIMIC-IV. Pour le contexte clinique, voir les instruments de dépistage CAM-ICU et ICDSC.