Pancréatite aiguë sévère : une forêt aléatoire bat tous les modèles d'apprentissage profond sur 722 patients

Un préprint signé d'un seul auteur (Netanel Stern, « PenuX Research Initiative ») compare onze modèles d'apprentissage automatique et profond pour prédire, dès l'admission et à partir de treize examens biologiques de routine, quels patients développeront une pancréatite aiguë sévère — sur une cohorte chinoise publique de 722 patients. Le résultat est net et instructif : les modèles classiques l'emportent, une forêt aléatoire atteignant une AUC de 0,877, tandis que tous les modèles d'apprentissage profond font moins bien, certains s'effondrant jusqu'à prédire « sévère » pour presque tout le monde. C'est un résultat négatif honnête et utile — les arbres battent les réseaux de neurones sur de petites données tabulaires — mais la cohorte contient 81 % de cas sévères, l'inverse de la réalité clinique, et l'étude ne se compare jamais aux scores cliniques qu'elle prétend dépasser : elle ne prouve donc encore rien sur son utilité au lit du patient.

Le contexte

La pancréatite aiguë est l'une des urgences digestives les plus fréquentes, avec une incidence mondiale estimée à environ 34 cas pour 100 000 personnes et par an. Dans la majorité des cas elle guérit spontanément, mais 10 à 20 % des patients évoluent vers une forme sévère (en anglais severe acute pancreatitis, SAP), définie par la classification d'Atlanta révisée de 2012 comme la présence d'une défaillance d'organe persistante — qui dure plus de 48 heures. Cette forme sévère est redoutable : la mortalité y est de l'ordre de 20 à 40 %, et elle mobilise lourdement la réanimation.

Tout l'enjeu est d'anticiper. Repérer tôt les patients à risque permet d'escalader vers une surveillance intensive, de remplir vigoureusement le compartiment vasculaire et d'organiser une prise en charge multidisciplinaire. Or les scores de gravité existants — Ranson, APACHE II, BISAP, indice de sévérité scanographique modifié — partagent une limite : ils exigent des données accumulées sur 24 à 48 heures, ou un scanner injecté pas toujours approprié en phase aiguë. D'où l'intérêt d'un modèle qui trancherait dès l'arrivée aux urgences, avec les seules données du premier prélèvement. C'est l'objectif que se fixe ce préprint.

La méthode

Les données proviennent d'une cohorte chinoise déjà publiée et déposée publiquement sur GitHub : 722 patients atteints de pancréatite aiguë, dont 585 (81,0 %) classés sévères et 137 (19,0 %) légers ou modérément sévères. Cette proportion est essentielle à garder en tête : elle ne reflète pas la fréquence réelle de la forme sévère, mais le recrutement d'un centre de référence, où les cas graves sont surreprésentés. Chaque patient est décrit par treize variables disponibles à l'admission : globules blancs, protéine C-réactive, créatinine, urée, glycémie, calcémie, LDH, albumine, hématocrite, âge, indice de masse corporelle, fréquence cardiaque et pression artérielle systolique.

L'auteur met en concurrence onze modèles répartis en trois familles. Trois modèles classiques : une régression logistique, une forêt aléatoire (Random Forest, un ensemble de centaines d'arbres de décision qui votent, ici 500 arbres avec pondération des classes) et un gradient boosting (des arbres ajoutés successivement, chacun corrigeant les erreurs du précédent). Trois réseaux de neurones à propagation avant : un perceptron multicouche (MLP, l'architecture de base où l'information traverse des couches successives), une variante à connexions résiduelles, et une variante à mécanisme d'attention (qui pondère l'importance relative des variables). Enfin cinq modèles récurrents de type LSTM — une architecture conçue pour les séquences temporelles. Détail décisif : les données tabulaires, qui n'ont pas de dimension temporelle, sont ici présentées à ces réseaux comme des « séquences » de longueur 1, un usage hors de leur domaine de conception.

L'évaluation repose sur une validation croisée stratifiée à cinq plis (on découpe la cohorte en cinq, en préservant la proportion de cas sévères, et chaque pli sert tour à tour de test). Point d'hygiène méthodologique notable : la normalisation et l'imputation des valeurs manquantes sont calculées uniquement sur les plis d'entraînement, ce qui évite la fuite de données (data leakage) — la contamination du test par des informations issues de l'entraînement, qui gonfle artificiellement les performances. Le seuil de décision est choisi pour maximiser le F1 (la moyenne harmonique entre précision et sensibilité). Les métriques rapportées sont l'AUC (aire sous la courbe ROC, la capacité à séparer sévères et non-sévères), le F1, la sensibilité et la valeur prédictive positive. Aucune validation externe n'est réalisée.

Les résultats

Les modèles classiques dominent. La forêt aléatoire arrive en tête avec une AUC de 0,877, un F1 de 0,917, une sensibilité de 96,8 % et une valeur prédictive positive de 87,1 % ; à son seuil optimisé de 0,535, elle identifie correctement 96,8 % des cas sévères (soit, sur la cohorte, environ 566 vrais positifs et 19 faux négatifs). Le gradient boosting suit de très près : AUC 0,874, F1 0,918, sensibilité 97,1 %. La régression logistique atteint 0,817.

L'apprentissage profond fait systématiquement moins bien. Le meilleur réseau à propagation avant, le MLP simple, plafonne à 0,836 — honorable mais en deçà des arbres. Les modèles récurrents s'effondrent : le meilleur d'entre eux, un CNN-LSTM, n'atteint que 0,777, le LSTM standard 0,699, et la variante LSTM avec attention ferme la marche à 0,684. L'écart entre la forêt aléatoire et le meilleur modèle récurrent est de 0,100 point d'AUC, considérable. Surtout, les LSTM affichent des sensibilités de 98,3 à 100 % au prix d'une spécificité quasi nulle : ils ont basculé vers la classe majoritaire et prédisent « sévère » pour presque tout le monde. Une sensibilité de 100 % obtenue en déclarant tout le monde malade ne vaut rien — c'est l'illustration concrète d'une métrique trompeuse.

La traduction clinique honnête impose une mise en garde sur ces chiffres flatteurs. La valeur prédictive positive de 87,1 % a été mesurée dans une population à 81 % de cas sévères. Or la précision d'un test dépend de la prévalence : appliqué à un service d'urgences réel où seuls 10 à 20 % des patients évolueront vers la forme sévère, le même modèle produirait beaucoup plus de fausses alertes pour une même sensibilité. L'auteur note que sa sensibilité « se compare favorablement » aux valeurs publiées de 60 à 80 % pour BISAP et APACHE II dans les 24 heures, mais sans jamais calculer ces scores sur la même cohorte — la comparaison reste donc indirecte.

Ce qui est bien

Une hygiène méthodologique contre la fuite de données. Normalisation et imputation calculées uniquement sur les plis d'entraînement, validation croisée stratifiée préservant le déséquilibre des classes, seuil fixé sur la portion d'entraînement : ces précautions, souvent négligées dans la littérature IA-santé, sont ici correctement appliquées et limitent le risque de performances artificiellement gonflées.

Un résultat négatif assumé. Rapporter que l'apprentissage profond perd contre une forêt aléatoire, et que les LSTM s'effondrent, va à rebours du biais de publication qui favorise les annonces positives. Le choix des variables est par ailleurs cliniquement sensé : uniquement des examens de routine disponibles dès l'admission, sans scanner, donc précoces et peu coûteux.

De la transparence. Le code est public sur GitHub, l'étude s'appuie sur un jeu de données ouvert, l'auteur déclare l'absence de financement et de conflit d'intérêts, et un avertissement explicite précise que le travail n'est pas destiné à un usage clinique. Autant de signaux de sérieux, rares pour un préprint.

Ce qui est moins bien

Une cohorte à 81 % de cas sévères : les modes d'échec du biais de population et de la métrique trompeuse. La prévalence de l'étude est l'inverse de la réalité épidémiologique (10 à 20 % de formes sévères). Toutes les performances — et surtout la valeur prédictive positive — en sont mécaniquement embellies. Le chiffre vedette de 96,8 % de sensibilité ne dit presque rien de ce que ferait le modèle aux urgences, sur une population où les cas graves sont rares.

Aucun comparateur clinique : le mode d'échec du comparateur absent. Le papier ne confronte jamais ses modèles aux scores BISAP, APACHE II ou Ranson sur cette cohorte. Or toute la justification — battre des scores lents — repose sur cette comparaison, qui n'est pas faite. Affirmer une supériorité face à des valeurs tirées d'autres études, sur d'autres populations, n'a pas de valeur probante.

Pas de validation externe, et une provenance fragile. Tout repose sur une unique cohorte chinoise, réutilisée à partir d'un dépôt public ; rien ne garantit la généralisation à d'autres pays, d'autres étiologies ou d'autres pratiques. L'auteur reconnaît que la validation croisée peut surestimer la performance par rapport à un vrai jeu de test indépendant. Et le travail est un préprint non relu, signé d'un auteur unique rattaché à une « initiative de recherche » sans affiliation hospitalière ou universitaire identifiable : la maturité reste celle d'un prototype.

Ce que ça change

Pour la communauté de recherche, l'étude est un rappel salutaire : sur de petites données tabulaires, les arbres boostés et les forêts aléatoires restent la référence à battre, et appliquer des LSTM à des données sans dimension temporelle — repliées en séquences de longueur 1 — relève de l'erreur de catégorie. Le réflexe « problème médical, donc apprentissage profond » est ici clairement pris en défaut.

Pour les cliniciens, rien n'est déployable : pas de validation externe, pas de comparaison aux scores qu'ils utilisent déjà, et une prévalence non représentative. Le modèle n'a pas démontré qu'il apporte quoi que ce soit au-delà des outils existants. Pour les patients et le grand public, l'étude illustre surtout une règle de lecture : un titre du type « une IA prédit la pancréatite sévère avec 97 % de réussite » masque que la cohorte comptait déjà 81 % de cas sévères — un chiffre qui ne se transporte pas tel quel dans une vraie salle d'urgences.

Pour aller plus loin

Le préprint est disponible sur medRxiv (DOI 10.64898/2026.06.20.26356146) ; le code est publié sur le dépôt GitHub de l'auteur, et la cohorte source sur un dépôt public dédié. Sur la lecture critique des modèles cliniques — calibration, courbes de décision et prévalence — voir notre décryptage de la prédiction de mortalité en réanimation sur MIMIC-IV ; sur l'apprentissage classique et l'explicabilité, celui du risque de thromboembolie dans le cancer de l'endomètre.

Transparence éditoriale : version française rédigée et signée par la rédaction de Tatakoto à partir de la lecture du préprint. Traductions anglaise, espagnole et chinoise produites avec assistance IA et relues.