Sepsis en réanimation : un agent d’apprentissage par renforcement qui baisse le traitement quand le lactate monte, et que les métriques standard notent 10 sur 10

Deux ingénieurs, l’un à Vanderbilt et l’autre à Duke, ont pris deux agents d’apprentissage par renforcement entraînés à doser remplissage vasculaire et vasopresseurs chez des patients septiques de la base MIMIC-III, et les ont soumis à un test que la littérature ne fait presque jamais : faire varier artificiellement le lactate du patient et regarder dans quel sens le traitement recommandé bouge. Le modèle qui imite le mieux les cliniciens — erreur quadratique moyenne de 0,0098, sept fois plus basse que celle de son concurrent — recommande d’abaisser l’intensité de traitement d’environ 15 % quand le lactate monte, l’inverse exact de ce que prescrit le Surviving Sepsis Campaign ; l’autre modèle, moins bon imitateur, réagit dans le bon sens sur les quinze niveaux testés. Le diagnostic proposé est juste et important — les métriques d’imitation ne mesurent pas la sécurité clinique — mais la démonstration repose sur une seule graine aléatoire, sans aucun intervalle de confiance, dans un préprint de six pages qui ne dit jamais combien de patients il a utilisés.

Le contexte

L’idée d’apprendre une politique de traitement du sepsis à partir de dossiers de réanimation a un point de départ précis : l’AI Clinician de Komorowski et collègues, publié dans Nature Medicine en 2018. Le principe relève de l’apprentissage par renforcement hors ligne — offline reinforcement learning : plutôt que d’expérimenter sur des patients, on entraîne un agent sur des trajectoires déjà enregistrées, en lui apprenant à choisir à chaque pas de temps l’action (ici, une dose de remplissage et une dose de vasopresseurs) qui maximise une récompense censée refléter la survie. Le problème structurel est immédiatement visible : on ne peut jamais tester la politique apprise sur les patients qu’on a. On ne dispose que des décisions réellement prises par les cliniciens, et il faut estimer ce qu’aurait donné une autre décision.

D’où l’outillage d’évaluation habituel, et son angle mort. Deux métriques dominent. La MSE (erreur quadratique moyenne) mesure l’écart entre l’action prédite par l’agent et l’action réellement prise par le clinicien : c’est une mesure d’imitation, pas de qualité. La FQE (Fitted Q-Evaluation) estime la valeur attendue de la politique apprise en ajustant une fonction de valeur sur les données observées : c’est une extrapolation statistique, dont la fiabilité s’effondre dès que la politique évaluée s’éloigne de celle qui a généré les données. Gottesman et collègues l’ont écrit noir sur blanc dans Nature Medicine en 2019 : ces évaluations observationnelles sont largement insensibles à la question de savoir si l’agent a appris une logique causale ou une corrélation.

Ce papier ajoute une variante particulièrement inconfortable de ce problème, qu’il baptise « toxic mimicry » — mimétisme toxique. Les dossiers de réanimation contiennent des épisodes de désescalade thérapeutique : quand un patient bascule en soins de confort, les vasopresseurs sont arrêtés, et le patient décède. Statistiquement, ces trajectoires associent une aggravation biologique à une diminution du traitement. Un agent entraîné à imiter les cliniciens peut donc parfaitement apprendre la règle « quand le patient s’aggrave, on réduit », qui est descriptivement exacte et cliniquement catastrophique si elle est appliquée à un patient qu’on cherche à sauver. Les auteurs s’appuient sur la littérature de fin de vie en réanimation pour montrer que ces pratiques sont massives et hétérogènes — l’étude de Mark et collègues (2015) rapporte des taux de retrait thérapeutique allant de 0 % à 84 % selon les contextes. Conceptuellement, le phénomène est une instance de la causal confusion décrite par de Haan, Jayaraman et Levine en 2019 : un modèle qui apprend à copier ses propres actions passées plutôt qu’à raisonner sur l’état du patient.

La méthode

La cohorte. Les auteurs extraient de MIMIC-III v1.4 les patients adultes répondant aux critères Sepsis-3, en suivant explicitement le pipeline de Komorowski. L’espace d’état compte 44 variables (constantes vitales, résultats de laboratoire, données démographiques), l’espace d’action est continu à deux dimensions — dose de soluté intraveineux et dose de vasopresseurs —, ce qui les distingue des 25 cases discrètes de l’AI Clinician original. La fenêtre glissante est de six pas de temps de quatre heures, soit 24 heures de contexte, et la répartition est de 70 / 15 / 15 % au niveau du patient. Il faut le dire tout de suite, parce que cela conditionne la lecture de tout le reste : le nombre de patients, de séjours et de transitions n’est indiqué nulle part, pas plus que la mortalité de la cohorte ou ses caractéristiques démographiques. Il n’y a pas de tableau descriptif.

Les deux agents. Le premier, MedDT (Medical Decision Transformer), adapte le Decision Transformer de Chen et collègues (2021) : un transformeur causal qui reçoit en entrée la séquence des récompenses restantes, des états et des actions passées, et prédit l’action suivante. Il est entraîné par pure imitation — une MSE sur les actions des cliniciens, sans fonction de valeur. Le second, HCT-RL (Historical Causal Transformer), combine trois éléments. Le premier, baptisé Causal Action Shielding, consiste très exactement à retirer les actions passées de l’entrée de l’encodeur — le nom promet un dispositif de sécurité en temps réel, le mécanisme est une ablation architecturale. Le deuxième est une pondération par le score de propension, qui réduit le poids des actions fréquentes dans les données. Le troisième est le Conservative Q-Learning de Kumar et collègues, qui pénalise les actions absentes des données. Les deux modèles partagent la même taille (dimension 128, trois couches, quatre têtes) et sont entraînés sur cinq graines aléatoires.

L’audit. C’est l’apport du papier. Le Counterfactual Clinical Audit (CCA) ne mesure pas une performance, il teste une réponse : on modifie artificiellement une variable physiologique dans l’état d’entrée et on observe comment la politique bouge. Trois épreuves. Audit I : injecter du bruit gaussien (écart-type 0,5 en unités de z-score) sur la seule créatinine, variable hémodynamiquement non critique, et mesurer de combien l’action recommandée se déplace — toute réponse est par construction parasite. Audit II : imposer un lactate constant sur les six pas de temps, balayé sur quinze valeurs entre −2 et +5 z-scores, et mesurer l’intensité de traitement moyenne à chaque niveau ; le résumé est une corrélation de rang de Spearman, positive si la réponse est conforme aux recommandations, négative si elle est inversée. Audit III, dit « en ciseaux » : faire chuter la pression artérielle moyenne (de +1 à −2 z-scores) d’abord seule, puis en même temps que montent la fréquence cardiaque et le lactate, et vérifier que l’agent réagit plus fortement dans le second cas — un clinicien face à une hypotension accompagnée d’une hyperlactatémie escalade plus vite.

Les résultats

Sur les métriques standard, MedDT gagne. Sa MSE est de 0,0098 contre 0,0742 pour HCT-RL, soit une imitation environ sept fois plus fidèle. Sa valeur estimée par FQE est de 65,29 contre 63,43. Deux réserves importantes accompagnent ces chiffres : la fonction de récompense n’est jamais définie dans le papier, ce qui rend l’échelle de la FQE littéralement non interprétable, et aucune valeur n’est rapportée pour la politique des cliniciens eux-mêmes. Il n’y a donc pas de comparateur de référence.

Sur l’audit, le classement s’inverse. À l’Audit II, HCT-RL augmente son intensité de traitement de façon monotone avec le lactate — corrélation de Spearman de +1,00 sur les quinze niveaux, pour une hausse d’environ 10 % au-dessus du niveau de base. MedDT fait l’inverse : son intensité chute d’environ 15 % en dessous du niveau de base aux valeurs de lactate modérées à élevées, avec un rebond partiel aux valeurs extrêmes, pour un ρ de −0,67. C’est le résultat central du papier. À l’Audit I, la sensibilité au bruit sur la créatinine est de 0,060 ± 0,006 pour MedDT contre 0,032 ± 0,008 pour HCT-RL sur MIMIC-III. À l’Audit III sur MIMIC-III, HCT-RL montre une divergence en ciseaux positive quand MedDT est à peu près plat.

La validation externe porte sur MIMIC-IV v3.1, sans réentraînement. Sur l’Audit III, HCT-RL conserve une divergence positive de 0,04 à 0,12, tandis que MedDT passe en négatif, de −0,12 à 0 : sous stress multi-organe, il recommande des doses de vasopresseurs inférieures à celles qu’il propose quand seule la pression baisse. L’Audit II, le plus important, n’a pas été refait sur MIMIC-IV.

Traduction clinique : elle est absente, et il faut le dire. Tout est exprimé en z-scores et en normes d’un vecteur d’action normalisé. Le papier ne donne jamais la correspondance entre son balayage de lactate et des millimoles par litre, ni entre son « intensité de traitement » et des microgrammes par kilo et par minute. On ne peut donc pas écrire « la dose baisse de X µg/kg/min par mmol/L de lactate » — ce chiffre n’existe pas dans ce travail. Ce qui existe, et qui suffit à l’argument, est un signe : sur une pathologie où la réanimation impose d’escalader quand le lactate monte, un modèle qui obtient les meilleures métriques d’imitation désescalade.

Ce qui est bien

Le test est simple, reproductible et vise juste. Faire varier une variable et regarder la dérivée de la politique ne coûte presque rien en calcul, ne demande aucune donnée supplémentaire, et interroge exactement ce que la MSE et la FQE ne peuvent pas voir. Le choix de la créatinine comme variable témoin dans l’Audit I est astucieux : c’est un contrôle négatif construit sur une justification physiologique, pas sur une intuition. Et l’Audit III est le seul des trois à tester une propriété d’intégration — réagir plus fort à une hypotension contextualisée qu’à une hypotension isolée — plutôt qu’une simple monotonie.

La démonstration ne s’arrête pas à une base. Les Audits I et III sont rejoués sur MIMIC-IV sans réentraînement, et l’Audit I est rapporté en moyenne ± écart-type sur cinq graines. Les auteurs citent Nauka et collègues (npj Digital Medicine, 2025) sur les échecs de transportabilité des politiques de renforcement en sepsis, ce qui montre qu’ils connaissent le problème plutôt qu’ils ne l’ignorent.

La section limites est inhabituellement franche. Les auteurs écrivent que le CCA « audite la sécurité comportementale mais ne peut pas certifier directement une amélioration des résultats », et le qualifient de « filtre de sécurité nécessaire plutôt que critère suffisant ». Ils reconnaissent explicitement que les deux bases MIMIC proviennent d’un seul centre hospitalier universitaire de Boston, que les bornes d’écrêtage de leur pondération n’ont pas été testées, et — c’est rare — que « la variabilité entre graines des métriques des Audits II et III mérite une investigation plus poussée ». Autrement dit, ils disent eux-mêmes que leur résultat principal n’est pas quantifié en incertitude.

Ce qui est moins bien

Le résultat principal est mono-graine, et le récit ne colle pas au tableau. Les auteurs indiquent que les Audits II et III sont rapportés pour « la graine dont la MSE de validation est la plus basse ». Le ρ de −0,67 et les 15 % n’ont donc ni intervalle de confiance, ni p-valeur, ni écart-type entre graines — sur quinze points de mesure. Cette fragilité se voit à l’œil nu ailleurs : sur l’Audit I en validation externe, le texte annonce une sensibilité MedDT de 0,10 contre 0,01 pour HCT-RL, soit « dix fois mieux », tandis que le tableau multi-graines du même papier donne 0,062 ± 0,028 contre 0,003 ± 0,003. Le facteur dix vient de la graine choisie ; l’écart-type de HCT-RL y est égal à sa moyenne. C’est un cas net de métrique trompeuse, dans un papier dont le sujet est précisément la tromperie des métriques.

Le confondeur palliatif n’est jamais démontré dans les données. Toute la thèse repose sur l’idée que les épisodes de désescalade de fin de vie contaminent l’apprentissage. Or aucune étiquette de limitation thérapeutique, de directive anticipée ou de passage en soins de confort n’est extraite de MIMIC-III pour le vérifier. Le mécanisme est argumenté par la littérature et inféré du comportement du modèle, jamais mesuré. S’y ajoute une absence d’ablation : les trois composants d’HCT-RL — retrait des actions passées, pondération par propension, CQL — ne sont jamais testés séparément, si bien que le papier ne peut pas dire lequel corrige le mimétisme, alors même qu’il affirme que ce sont le « bouclier causal » et la pondération. Techniquement, le seul mécanisme qui diffère structurellement est le retrait des actions passées de l’entrée — c’est-à-dire, littéralement, le remède connu depuis 2019 contre la causal confusion.

Le socle de preuve est mince, et la population est étroite. Aucun effectif de cohorte, aucune fonction de récompense écrite, aucun comparateur clinicien, aucun code publié, aucune déclaration de financement, de conflits d’intérêts ni d’approbation éthique. Les deux bases MIMIC proviennent du même hôpital de Boston, ce qui fait de la « validation externe » sur MIMIC-IV un test de dérive temporelle plutôt qu’un test de biais de population : rien ici ne dit comment ces modèles se comportent dans un système de santé différent. Enfin, l’Audit II — le seul qui produise le résultat marquant — suppose que l’on peut faire varier le lactate indépendamment des 43 autres variables. Les auteurs le reconnaissent. C’est une hypothèse forte : un lactate à +5 z-scores avec une pression artérielle et une fréquence cardiaque inchangées n’est pas un patient qui existe.

Ce que ça change

Pour la communauté de recherche, l’apport net n’est pas le résultat mais le protocole. L’idée qu’une politique apprise doit être soumise à un test de dérivée ancré dans une recommandation clinique — quand cette variable monte, ce traitement doit monter — est peu coûteuse, générale, et devrait accompagner toute publication d’apprentissage par renforcement en santé au même titre que la FQE. Elle prolonge de façon opérationnelle l’avertissement de Gottesman en 2019, qui était resté au stade du principe. Le fait que le modèle le mieux noté par les métriques standard soit celui qui échoue à l’audit est, en soi, un argument suffisant pour changer les usages de publication. À noter toutefois : les deux critiques techniques les mieux connues de l’AI Clinician, celles de Jeter et collègues et d’Oberst et Sontag, ne sont pas citées.

Pour les cliniciens, rien ne change dans la pratique, et il faut être clair : aucun agent d’apprentissage par renforcement n’est utilisé aujourd’hui pour piloter le remplissage ou les vasopresseurs en réanimation, et ce papier ne rapproche pas cette perspective — il l’éloigne plutôt, en documentant un mode d’échec supplémentaire. L’enseignement transférable est méthodologique : devant un outil d’aide à la décision thérapeutique, la question à poser n’est pas « quelle est sa performance ? » mais « que fait-il quand le patient se dégrade ? ». C’est une question qu’un clinicien peut poser à un fournisseur sans être ingénieur.

Pour les patients et le public, le point important est contre-intuitif et mérite d’être retenu. Un modèle peut reproduire fidèlement ce que font les médecins et être dangereux précisément pour cette raison, parce que les dossiers médicaux enregistrent aussi les décisions d’arrêt de traitement en fin de vie. Les auteurs vont plus loin dans leur discussion en notant que ces décisions varient selon l’origine ethnique et le statut socio-économique, et qu’un tel biais pourrait donc se répartir inégalement entre les groupes. Ils l’écrivent comme une hypothèse ; aucune analyse en sous-groupes n’est conduite dans ce papier pour l’étayer.

Pour aller plus loin

Le préprint est disponible sur arXiv (2608.11410), déposé le 11 août 2026 sous licence non exclusive arXiv, par Hangqi Ren (School of Engineering, Vanderbilt University) et Junyi Liao (Pratt School of Engineering, Duke University). Aucun code n’est publié. Les données sont MIMIC-III v1.4 et MIMIC-IV v3.1, accessibles sur PhysioNet après formation et accord d’usage. Pour le point de départ du domaine, lire l’AI Clinician de Komorowski et collègues (Nature Medicine, 2018) ; pour la mise en garde méthodologique qui structure ce travail, « Guidelines for reinforcement learning in healthcare » de Gottesman et collègues (Nature Medicine, 2019) ; pour le concept sous-jacent, « Causal confusion in imitation learning » de de Haan, Jayaraman et Levine (NeurIPS 2019).