Prédiction de crises d'épilepsie par EEG : cinq pipelines, un même résultat proche du hasard dès que l'évaluation sépare vraiment les patients (CHB-MIT)
Une équipe de l'Auckland University of Technology a gardé cinq pipelines publiés de prédiction de crises d'épilepsie par EEG et n'a changé qu'une chose : la manière de les évaluer sur la base pédiatrique CHB-MIT. Dès que les patients du test sont réellement absents de l'entraînement, les cinq pipelines tombent autour d'une AUC de 0,5, c'est-à-dire le hasard, quelle que soit leur architecture. Le message n'est pas que l'IA ne marchera jamais ici, mais que les performances élevées de la littérature dépendent d'abord du protocole d'évaluation ; à lire comme un preprint exploratoire, non relu par des pairs.
Le contexte
Environ un tiers des personnes épileptiques gardent des crises malgré les traitements. Pour elles, un système capable de prévenir quelques minutes avant une crise changerait la vie quotidienne : on pourrait s'arrêter de conduire, s'allonger, déclencher une stimulation ou un traitement d'appoint. D'où une littérature abondante de « prédiction de crise » à partir de l'électroencéphalogramme (EEG, enregistrement de l'activité électrique du cerveau par des électrodes sur le scalp), avec des performances rapportées souvent supérieures à 90 %.
Le problème est ancien et méthodologique. Un EEG est une série temporelle très autocorrélée : deux fenêtres de 20 secondes voisines se ressemblent beaucoup. Si l'on découpe un enregistrement en fenêtres, puis qu'on répartit ces fenêtres au hasard entre entraînement et test, le modèle « reconnaît » en test des fenêtres quasi identiques à celles vues à l'entraînement. On parle de fuite de données (data leakage) : l'information du test s'infiltre dans l'apprentissage. Cette étude cherche à mesurer, sur des pipelines existants, combien de la performance publiée disparaît quand on ferme ces fuites.
La méthode
La tâche est une classification binaire de fenêtres EEG de 20 secondes : « préictale » (entre 5 et 30 minutes avant le début d'une crise) contre « interictale » (loin de toute crise). Les périodes de crise elles-mêmes, les 5 dernières minutes avant le début et les 4 heures après la fin de crise sont exclues. Ce n'est donc pas un système d'alarme continu, mais un test de classification fenêtre par fenêtre, rétrospectif.
Les données principales viennent de CHB-MIT, un jeu public (PhysioNet) d'enregistrements d'enfants suivis à Boston : 182 crises annotées chez 22 participants, signaux échantillonnés à 256 Hz, filtrés entre 0,5 et 40 Hz, sur 18 canaux bipolaires. Deux identifiants correspondant à la même personne sont regroupés, le patient chb24 est écarté faute de fenêtres interictales, et le jeu final compte 17 424 fenêtres ; les fenêtres préictales ne proviennent que de 69 des 182 crises. Un second jeu, Siena Scalp EEG (13 participants, 5 657 fenêtres), sert de contrôle externe.
Cinq pipelines sont comparés, sans recherche d'architecture : PSD+LDA (90 caractéristiques de puissance par bande de fréquence, puis analyse discriminante linéaire, un classifieur linéaire classique), EEGNet (7 002 paramètres), un réseau convolutif temporel TCN (245 122), un CNN 1D (520 322) et un EEG-Conformer, mélange de convolutions et d'attention (852 746).
Le cœur du travail est le plan d'évaluation. Dans le scénario « cold-start », 20 partitions aléatoires attribuent 14 groupes de sujets à l'entraînement, 4 à la validation et 4 au test : aucun patient du test n'a été vu. Trois contrôles s'ajoutent : (1) chez 11 patients, comparaison entre une allocation aléatoire des fenêtres et des blocs chronologiques de crises ; (2) un audit de l'ancien découpage par index sur 10 cas ; (3) un test de transfert de seuil, où le seuil de décision est fixé sur la validation pour ne marquer que 1/60 des fenêtres interictales, puis appliqué sans modification aux sujets de test.
Les résultats
En métriques ML, d'abord. L'AUC (aire sous la courbe ROC) vaut 0,5 pour un classifieur qui ne fait pas mieux qu'un tirage à pile ou face et 1 pour un classifieur parfait. En cold-start, l'AUC agrégée moyenne sur 20 partitions est de 0,527 ± 0,070 pour PSD+LDA, 0,534 pour EEGNet, 0,553 pour TCN, 0,541 pour le CNN 1D et 0,527 pour EEG-Conformer. Pondérée pour que chaque sujet compte autant, elle vaut entre 0,502 et 0,523, avec des écarts-types de 0,09 à 0,13 : l'incertitude est plus grande que les différences entre architectures.
Dans la comparaison intra-patient avec PSD+LDA, l'AUC passe de 0,815 ± 0,089 avec une allocation aléatoire des fenêtres à 0,572 ± 0,171 avec des blocs chronologiques, soit une chute moyenne de 0,243 (de 0,024 à 0,601 selon le patient). L'audit du découpage par index montre que des échantillons bruts traversent la frontière entre entraînement et test dans les 10 cas éligibles (16 paires de fenêtres chevauchantes au total), avec des écarts de 0,139 à 0,373. Sur Siena, PSD+LDA appliqué sans réentraînement obtient 0,480 ± 0,022.
Le transfert de seuil échoue aussi : visée 1/60 (environ 1,67 %) de fausses détections, les taux observés vont de 1,81 % à 3,13 %, et chaque pipeline dépasse la cible dans 6 à 10 partitions sur 20. La sensibilité à ce seuil ne dépasse pas 2,33 à 5,56 %.
Traduction clinique. Avec le seuil de Youden issu de la validation (celui qui équilibre sensibilité et spécificité), EEGNet détecte 40,7 % des fenêtres préictales et rejette 64,9 % des interictales. Sur 1 000 fenêtres préictales, cela fait environ 593 manquées ; sur 1 000 fenêtres interictales, environ 351 fausses alertes. Si les fenêtres de 20 secondes se suivent sans chevauchement, soit 180 par heure, un taux de 1,67 % de faux positifs correspond à environ trois alertes à tort par heure, et 3,13 % à presque six, avec moins de 6 % des fenêtres préictales détectées. Ce calcul est le nôtre, à partir des chiffres du papier, et suppose des fenêtres contiguës ; aucun dispositif portable ne serait toléré avec ce profil.
Ce qui est bien
Premièrement, le protocole isole une seule variable. Les architectures, les caractéristiques et les hyperparamètres sont fixés ; seul le schéma d'évaluation change. C'est ce qui permet d'écrire que le plan d'évaluation pèse plus que le choix du modèle, plutôt que de comparer des papiers qui diffèrent sur dix points à la fois.
Deuxièmement, l'audit est concret. Les auteurs ne se contentent pas de dire que la fuite est possible : ils comptent 16 paires de fenêtres chevauchantes à travers la frontière train-test dans les 10 cas vérifiés, et mesurent l'écart d'AUC induit (0,139 à 0,373). Ils traitent aussi le piège du patient dédoublé (chb01 et chb21) en regroupant les deux identifiants.
Troisièmement, la transparence : code sur GitHub audité à un commit précis (845e973), manifestes de partitions et tableaux sources fournis, jeux de données publics sur PhysioNet, fonds exclusivement universitaires et aucun conflit déclaré. Un contrôle sur un second jeu (Siena) est ajouté, même s'il reste limité.
Ce qui est moins bien
Premièrement, la base est petite et pédiatrique : 22 groupes de sujets, et seulement 69 crises sur 182 fournissent des fenêtres préictales utilisables. Aucune analyse par sexe ou âge n'est faite. Il s'agit du biais de population : on ne sait pas si le résultat vaut pour des adultes, d'autres types d'épilepsie ou d'autres systèmes d'acquisition. Les 20 partitions répétées partagent les mêmes sujets, ce qui limite ce qu'on peut inférer sur une population plus large.
Deuxièmement, la métrique et la tâche ne sont pas celles d'un usage réel. Le papier évalue des fenêtres isolées, pas des alarmes continues avec temps d'anticipation, période réfractaire et nombre de fausses alarmes par jour, qui sont les grandeurs que verrait un patient (métrique trompeuse par construction). Il ne dit donc pas si une stratégie plus fine, par exemple personnalisée par patient, ferait mieux.
Troisièmement, les analyses chronologiques et de seuil ont été ajoutées après les analyses initiales et sont qualifiées d'exploratoires par les auteurs ; le filtrage est non causal (il utilise des échantillons futurs, ce qui ne serait pas possible en temps réel) ; le contrôle Siena ne couvre qu'un seul modèle, PSD+LDA, sans les modèles profonds. Les cinq pipelines sont des réimplémentations sans recherche d'architecture : un résultat négatif sur des versions non optimisées ne prouve pas qu'aucune version optimisée ne réussirait. Enfin, il s'agit d'un preprint non relu par des pairs, et il n'y a ni validation prospective ni statut réglementaire.
Ce que ça change
Pour la communauté de recherche, le papier plaide pour des normes d'évaluation : séparer les patients entre entraînement et test, regrouper les identifiants d'une même personne, respecter l'ordre chronologique des crises, fixer le seuil sur des données distinctes et rapporter les fausses alarmes par heure. Il invite aussi à relire les chiffres de la littérature en vérifiant d'abord le schéma de partition. Il ne démontre pas à lui seul que chaque papier antérieur est faussé, seulement que ce risque est mesurable et important.
Pour les cliniciens, rien ne change dans la pratique aujourd'hui, et c'est l'information utile : aucun système de prédiction de crise par EEG de scalp présenté avec une performance spectaculaire ne devrait être pris au sérieux sans validation sur des patients jamais vus et en temps continu. Pour les patients et le public, cela ne signifie pas que la prédiction est impossible, mais que la promesse d'une alerte fiable reste, pour l'instant, non démontrée avec ces méthodes.
Pour aller plus loin
Le preprint : Song Z., Pedersen M., Henare D., « Same pipelines, different answers: how evaluation design shapes EEG seizure prediction », medRxiv, 29 octobre 2026, doi:10.64898/2026.10.28.26366763. Code : github.com/TsikonSong/EEG-Seizure-Prediction. Données : CHB-MIT et Siena Scalp EEG sur PhysioNet.
Ce Décryptage a été produit avec l'aide de l'IA à partir du texte du preprint et soumis à une relecture éditoriale ; les calculs cliniques dérivés sont signalés comme tels.