Épilepsie ou crises psychogènes : ce que vaut EpiScreen, des LLM affinés sur des notes cliniques et testés sur deux hôpitaux, avant la preuve prospective
Une équipe de l'Université du Minnesota a affiné par QLoRA quatre grands modèles de langage (LLM) pour distinguer, à partir de notes cliniques, l'épilepsie des crises non épileptiques psychogènes (CNEP), puis les a testés sur deux jeux de dossiers hospitaliers, MIMIC-IV et une cohorte privée du Minnesota. Les AUC (aire sous la courbe ROC) vont de 0,88 à 0,89 en validation interne sur MIMIC-IV, de 0,97 à 0,99 sur la cohorte du Minnesota, et restent élevées en transfert d'un site à l'autre ; l'exactitude, elle, chute à 0,70–0,77 quand on entraîne sur le Minnesota pour tester sur MIMIC-IV, soit à peu près le score d'un modèle qui répondrait toujours « épilepsie ». Le signal est réel, mais l'étiquette de référence est un diagnostic de sortie d'hôpital, non la vidéo-EEG, et aucune validation prospective n'existe.
Le contexte
L'épilepsie et les crises non épileptiques psychogènes (CNEP, des crises d'origine psychologique sans décharge électrique anormale dans le cerveau) se ressemblent à l'œil nu : mouvements convulsifs, perte de contact, chute. Pourtant la prise en charge diffère radicalement : les premières relèvent des antiépileptiques, les secondes d'une prise en charge psychiatrique et psychothérapeutique. Se tromper dans un sens expose à des traitements inutiles et à leurs effets indésirables, dans l'autre à des crises non traitées.
L'examen de référence est la vidéo-EEG prolongée (enregistrement simultané de la vidéo et de l'électroencéphalogramme pendant une crise), coûteuse et disponible surtout dans les centres spécialisés. D'où l'idée d'un outil de tri en amont, qui exploiterait ce que le dossier médical contient déjà : les comptes rendus, rédigés en texte libre. Les approches antérieures reposaient sur des règles de phénotypage ou sur des modèles de langage plus petits comme BERT et ClinicalBERT. La question posée ici : un LLM affiné sur quelques milliers de notes fait-il mieux, et surtout fait-il mieux hors de l'hôpital où il a appris ?
La méthode
La tâche. Classification binaire, épilepsie contre CNEP, à partir du texte d'une note clinique. Le modèle renvoie une probabilité d'épilepsie.
Les modèles. Quatre LLM open source de 32 à 70 milliards de paramètres (Qwen-2.5-32B, DeepSeek-R1-32B, Llama-3.3-70B et Med42-70B, ce dernier spécialisé en médecine) sont affinés (fine-tuning : on poursuit l'entraînement du modèle sur la tâche visée). La technique, QLoRA, gèle le modèle d'origine, le comprime en 4 bits et n'entraîne que de petites matrices correctrices (rang 16), ce qui permet de travailler sur quatre GPU A100. Le modèle reçoit la note, une consigne, et produit un diagnostic ; la probabilité est lue sur les deux logits (scores bruts) de sortie.
Les données. MIMIC-IV, base publique de l'hôpital Beth Israel Deaconess de Boston : 3 451 patients (2 651 épilepsie, 800 CNEP). Cohorte privée de l'Université du Minnesota : 10 182 patients (8 011 épilepsie, 2 171 CNEP), extraits d'une cohorte source de 32 660 patients, sans que l'article explique la sélection. Les étiquettes viennent des codes de diagnostic (CIM) du séjour, vérifiés par relecture manuelle des comptes rendus de sortie : seuls les cas dont le diagnostic principal de sortie correspond au code sont gardés. Les patients ayant les deux diagnostics sont exclus. Les notes sont tronquées aux dates précédant le diagnostic, selon une procédure décrite dans une note supplémentaire que nous n'avons pas pu lire.
La validation. Découpage aléatoire 70 / 10 / 20 % dans chaque jeu (validation interne), puis validation externe croisée : entraînement sur un site, test sur l'autre. Les incertitudes sont des intervalles de confiance à 95 % par bootstrap (rééchantillonnage du jeu de test, 1 000 tirages).
Les comparateurs. Une méthode à base de phénotypes (FSLS), BERT, ClinicalBERT (des modèles de langage plus petits, entraînés sur la tâche), et les quatre LLM interrogés sans entraînement (zero-shot). Dans une expérience séparée, quatre cliniciens (deux internes de neurologie, deux neurologues seniors de plus de dix ans d'expérience) relisent 300 cas tirés du jeu de test de MIMIC-IV.
Les résultats
Métriques ML. Rappel : l'AUC mesure la capacité à classer un cas positif au-dessus d'un cas négatif (0,5 = hasard, 1 = parfait) ; l'exactitude est la part de réponses correctes. En validation interne, les EpiScreen atteignent une AUC de 0,882 à 0,891 sur MIMIC-IV et de 0,974 à 0,992 sur le Minnesota. Les meilleurs comparateurs entraînés font 0,769 (ClinicalBERT) sur MIMIC-IV et 0,960 sur le Minnesota ; le meilleur LLM sans entraînement 0,813 et 0,900.
En validation externe, les chiffres de l'abstract : entraîné sur le Minnesota et testé sur MIMIC-IV, EpiScreen atteint des AUC de 0,829 à 0,875 (exactitude 0,70–0,77) ; entraîné sur MIMIC-IV et testé sur le Minnesota, 0,966 à 0,980 (exactitude 0,89–0,92). ClinicalBERT tombe à 0,749 et 0,788, FSLS à 0,498 et 0,485 (le hasard).
Étude clinicien-IA (300 cas). Exactitude : internes seuls 0,793, seniors seuls 0,817, EpiScreen seul 0,810 (différence non significative entre les trois). Avec les prédictions et les phrases les plus influentes, les internes passent à 0,880 et les seniors à 0,893.
Traduction clinique. Sur 1 000 notes du type MIMIC-IV, l'exactitude interne de 0,83 correspond à environ 165 erreurs ; en transfert du Minnesota vers MIMIC-IV, de 0,70 à 0,77, c'est 230 à 300 erreurs. Dans le jeu de test MIMIC-IV (environ 690 notes, dont environ 530 épilepsies par notre estimation), l'article compte 49 faux négatifs pour EpiScreen (Qwen-2.5-32B) : à peu près 9 épilepsies sur 100 classées CNEP, contre 93 faux négatifs pour ClinicalBERT. Le nombre de faux positifs par site n'est pas détaillé. Ces ordres de grandeur sont nos calculs à partir des tableaux, non des valeurs publiées.
Ce qui est bien
Un test de transfert réel entre deux hôpitaux. L'entraînement sur un site et le test sur l'autre, avec des tableaux complets et des intervalles, est plus exigeant qu'un simple découpage aléatoire. Le gain sur ClinicalBERT y est net : AUC de 0,829 à 0,875 contre 0,749 pour ClinicalBERT du Minnesota vers MIMIC-IV, de 0,966 à 0,980 contre 0,788 dans l'autre sens.
Des comparateurs variés et une analyse d'erreurs. Phénotypage, BERT, ClinicalBERT, LLM sans entraînement : la comparaison montre que l'affinage change la donne (gain moyen d'AUC de 13,2 % sur MIMIC-IV et 11,6 % sur le Minnesota par rapport au simple prompt). Les auteurs ajoutent des analyses de la taille d'entraînement (avec 5 % des données de MIMIC-IV, AUC de 0,806 en interne et 0,924 sur le Minnesota), du déséquilibre de classes et de la taille du modèle.
Une comparaison au clinicien, avec un chiffre qui dérange. Les auteurs montrent que le modèle seul égale les neurologues sur ces 300 cas (0,810 contre 0,793 et 0,817), et que l'association améliore les deux groupes. C'est un résultat plus utile que « l'IA bat les médecins ».
Ce qui est moins bien
Une étiquette qui n'est pas la vidéo-EEG, et un risque de fuite d'étiquette. La vérité de référence est le diagnostic principal de sortie, issu de codes et d'une relecture de comptes rendus. C'est le jugement clinique que l'outil prétend épauler, pas l'examen qui tranche. Et comme les notes sont des textes cliniques proches du diagnostic, le risque de data leakage est réel : une phrase du type « suivi en psychiatrie pour trouble de conversion » peut révéler la réponse. La troncature « avant le diagnostic » est renvoyée à une annexe que nous n'avons pas lue ; sans elle, on ne peut pas exclure que le modèle lise la conclusion plutôt qu'il ne la prédise.
Une métrique d'exactitude trompeuse sur des classes déséquilibrées. Environ 77 % des cas de MIMIC-IV (2 651 sur 3 451) et 79 % de la cohorte du Minnesota sont des épilepsies : un modèle qui répondrait toujours « épilepsie » aurait déjà une exactitude de 0,77 et 0,79. Les 0,70 à 0,77 d'EpiScreen entraîné sur le Minnesota et testé sur MIMIC-IV sont donc au niveau de ce modèle trivial ou en dessous, alors que l'AUC reste correcte : le classement est bon, le seuil de décision ne se transporte pas. Sensibilité, spécificité et valeur prédictive par seuil ne sont pas rapportées. C'est aussi un biais de spectre : la population comprend des patients déjà diagnostiqués soit épileptiques soit CNEP, pas ceux qui arrivent avec « un malaise inexpliqué ».
Une validation étroite, des preuves cliniques fragiles et une reproductibilité nulle. Deux sites seulement, états-uniens, dont l'un privé, avec une sélection non expliquée (32 660 patients sources, 10 182 retenus). L'étude clinicien-IA tient sur 300 cas de MIMIC-IV, quatre cliniciens regroupés en deux consensus de deux (donc deux « lecteurs » par groupe), avec accès à Internet, et sans mesure de la décision réelle du patient. Les gains rapportés dans l'abstract du journal (« jusqu'à 14,3 % ») ne correspondent pas à ceux du preprint (10,9 %) et la métrique n'est pas précisée. Le délai économisé « de 8 à 12 semaines » est affirmé, non mesuré. Les catégories d'explication des tableaux ne correspondent pas à celles de la méthode. Aucun code ni poids ne sont mentionnés, et la cohorte du Minnesota est privée : personne ne peut reproduire le résultat.
Ce que ça change
Pour la communauté de recherche. Le papier fournit une base de comparaison utile sur une tâche rarement traitée, et un cadre de test inter-sites à reprendre. Les suites naturelles : étiquettes issues de la vidéo-EEG, calibration du seuil sur chaque site, publication des sensibilités et spécificités, test sur d'autres langues et styles de documentation, et libération du code.
Pour les cliniciens. Rien ne change aujourd'hui. Cet outil de recherche ne dispose d'aucune autorisation réglementaire mentionnée, et la vidéo-EEG reste l'examen de référence. À terme, un aide-mémoire qui relit le dossier et signale « profil évoquant des CNEP » pourrait aider à orienter plus tôt vers un centre spécialisé, à condition d'avoir mesuré son taux de fausses alertes sur la population réelle du service.
Pour les patients et le public. Le retard diagnostic est un vrai problème pour les personnes qui reçoivent des antiépileptiques sans effet. Mais un outil statistique qui dit « probablement psychogène » comporte un risque de stigmatisation si le résultat est mal utilisé ; sa valeur dépendra de la façon dont le médecin l'intègre, non du score lui-même.
Pour aller plus loin
Article publié dans npj Digital Medicine : doi.org/10.1038/s41746-026-03346-2 (reçu le 23 mars 2026, accepté le 20 septembre 2026, publié en ligne le 8 octobre 2026, version en accès anticipé). Une version preprint est disponible sur arXiv : arxiv.org/abs/2603.28698. Financement : NIH (NCCIH R01AT009457, NIA R01AG078154, NCI R01CA287413) ; le chercheur correspondant, Rui Zhang, est rédacteur associé de la revue et déclare ne pas avoir participé à l'évaluation de ce manuscrit. Les données de MIMIC-IV sont accessibles sur PhysioNet sous accord d'utilisation ; la cohorte du Minnesota n'est pas partageable.
Transparence éditoriale : cet article a été produit avec l'aide d'outils d'intelligence artificielle à partir de la version preprint arXiv, de la page de l'article publié en accès anticipé et de leurs métadonnées ; la version du journal peut différer. Les versions anglaise, espagnole et chinoise sont des traductions automatiques.