Predicción de crisis epilépticas por EEG: cinco pipelines, un mismo resultado cercano al azar cuando la evaluación separa de verdad a los pacientes (CHB-MIT)

Un equipo de la Auckland University of Technology mantuvo fijos cinco pipelines publicados de predicción de crisis epilépticas por EEG y cambió una sola cosa: cómo se evalúan en la base pediátrica CHB-MIT. Cuando los pacientes de prueba están realmente ausentes del entrenamiento, los cinco pipelines caen a un AUC cercano a 0,5, es decir, al azar, sea cual sea su arquitectura. El mensaje no es que la IA nunca funcionará aquí, sino que los rendimientos elevados de la literatura dependen ante todo del protocolo de evaluación; debe leerse como un preprint exploratorio, sin revisión por pares.

El contexto

Alrededor de un tercio de las personas con epilepsia siguen teniendo crisis a pesar del tratamiento. Para ellas, un sistema capaz de avisar unos minutos antes cambiaría la vida diaria: dejar de conducir, tumbarse, activar una estimulación o un fármaco de rescate. De ahí una abundante literatura de «predicción de crisis» a partir del electroencefalograma (EEG, registro de la actividad eléctrica cerebral mediante electrodos en el cuero cabelludo), con rendimientos publicados a menudo superiores al 90 %.

El problema es antiguo y metodológico. Un EEG es una serie temporal muy autocorrelacionada: dos ventanas vecinas de 20 segundos se parecen mucho. Si se corta un registro en ventanas y se reparten al azar entre entrenamiento y prueba, el modelo «reconoce» en la prueba ventanas casi idénticas a las vistas al entrenar. Es la fuga de datos (data leakage): la información de la prueba se filtra en el aprendizaje. Este estudio mide, sobre pipelines existentes, cuánto del rendimiento publicado desaparece al cerrar esas fugas.

El método

La tarea es una clasificación binaria de ventanas EEG de 20 segundos: «preictal» (de 5 a 30 minutos antes del inicio de una crisis) frente a «interictal» (lejos de cualquier crisis). Se excluyen las crisis mismas, los últimos 5 minutos antes del inicio y las 4 horas posteriores al fin de la crisis. No es, pues, un sistema de alarma continuo, sino una prueba retrospectiva de clasificación ventana por ventana.

Los datos principales proceden de CHB-MIT, un conjunto público de PhysioNet con registros de niños seguidos en Boston: 182 crisis anotadas en 22 participantes, muestreadas a 256 Hz, filtradas entre 0,5 y 40 Hz, en 18 canales bipolares. Dos identificadores de la misma persona se agrupan, el paciente chb24 se descarta por falta de ventanas interictales, y el conjunto final tiene 17 424 ventanas; las ventanas preictales proceden solo de 69 de las 182 crisis. Un segundo conjunto, Siena Scalp EEG (13 participantes, 5 657 ventanas), sirve de control externo.

Se comparan cinco pipelines, sin búsqueda de arquitectura: PSD+LDA (90 características de potencia por banda de frecuencia y análisis discriminante lineal, un clasificador lineal clásico), EEGNet (7 002 parámetros), una red convolucional temporal TCN (245 122), una CNN 1D (520 322) y un EEG-Conformer, que mezcla convoluciones y atención (852 746).

El núcleo del trabajo es el diseño de evaluación. En el escenario «cold-start», 20 particiones aleatorias asignan 14 grupos de sujetos al entrenamiento, 4 a la validación y 4 a la prueba: ningún paciente de prueba ha sido visto. Se añaden tres controles: (1) en 11 pacientes, asignación aleatoria de ventanas frente a bloques cronológicos de crisis; (2) una auditoría de la antigua partición por índice en 10 casos; (3) una prueba de transferencia de umbral, en la que el umbral de decisión se fija en validación para marcar solo 1/60 de las ventanas interictales y se aplica sin cambios a los sujetos de prueba.

Los resultados

Primero, las métricas de ML. El AUC (área bajo la curva ROC) vale 0,5 para un clasificador que no supera al cara o cruz y 1 para uno perfecto. En cold-start, el AUC agregado medio en 20 particiones es 0,527 ± 0,070 para PSD+LDA, 0,534 para EEGNet, 0,553 para TCN, 0,541 para la CNN 1D y 0,527 para EEG-Conformer. Ponderado para que cada sujeto cuente igual, está entre 0,502 y 0,523, con desviaciones típicas de 0,09 a 0,13: la incertidumbre es mayor que las diferencias entre arquitecturas.

En la comparación intrapaciente con PSD+LDA, el AUC pasa de 0,815 ± 0,089 con asignación aleatoria de ventanas a 0,572 ± 0,171 con bloques cronológicos, una caída media de 0,243 (de 0,024 a 0,601 según el paciente). La auditoría de la partición por índice muestra muestras brutas que cruzan la frontera entre entrenamiento y prueba en los 10 casos elegibles (16 pares de ventanas solapadas en total), con diferencias de 0,139 a 0,373. En Siena, PSD+LDA aplicado sin reentrenar obtiene 0,480 ± 0,022.

La transferencia de umbral también falla: con un objetivo de 1/60 (alrededor de 1,67 %) de falsas detecciones, las tasas observadas van de 1,81 % a 3,13 %, y cada pipeline supera el objetivo en 6 a 10 de las 20 particiones. La sensibilidad con ese umbral es de solo 2,33 a 5,56 %.

Traducción clínica. Con el umbral de Youden obtenido en validación (el que equilibra sensibilidad y especificidad), EEGNet detecta el 40,7 % de las ventanas preictales y rechaza correctamente el 64,9 % de las interictales. Por cada 1 000 ventanas preictales, unas 593 se pierden; por cada 1 000 interictales, unas 351 son falsas alertas. Si las ventanas de 20 segundos se suceden sin solapamiento, es decir 180 por hora, una tasa de falsos positivos del 1,67 % equivale a unas tres falsas alertas por hora, y el 3,13 % a casi seis, con menos del 6 % de las ventanas preictales detectadas. Este cálculo es nuestro, a partir de las cifras del artículo y suponiendo ventanas contiguas; ningún dispositivo portátil sería tolerado con este perfil.

Lo que está bien

Primero, el protocolo aísla una sola variable. Arquitecturas, características e hiperparámetros están fijos; solo cambia el esquema de evaluación. Eso permite afirmar que el diseño de evaluación pesa más que la elección del modelo, en lugar de comparar artículos que difieren en diez puntos a la vez.

Segundo, la auditoría es concreta. Los autores no se limitan a decir que la fuga es posible: cuentan 16 pares de ventanas solapadas a través de la frontera entrenamiento-prueba en los 10 casos verificados y miden la diferencia de AUC inducida (0,139 a 0,373). También resuelven la trampa del paciente duplicado (chb01 y chb21) agrupando ambos identificadores.

Tercero, la transparencia: código en GitHub auditado en un commit preciso (845e973), manifiestos de particiones y tablas fuente aportados, conjuntos públicos en PhysioNet, financiación exclusivamente universitaria y ningún conflicto declarado. Se añade un control en un segundo conjunto (Siena), aunque limitado.

Lo que está peor

Primero, la base es pequeña y pediátrica: 22 grupos de sujetos, y solo 69 de 182 crisis aportan ventanas preictales utilizables. No se hace análisis por sexo ni edad. Es el modo de fallo del sesgo de población: no se sabe si el resultado vale para adultos, otros tipos de epilepsia u otros sistemas de adquisición. Las 20 particiones repetidas comparten los mismos sujetos, lo que limita la inferencia a una población más amplia.

Segundo, la métrica y la tarea no son las de un uso real. El artículo evalúa ventanas aisladas, no alarmas continuas con tiempo de anticipación, periodo refractario y falsas alarmas por día, que son las magnitudes que vería un paciente (una métrica engañosa por construcción). No dice, pues, si una estrategia más fina, por ejemplo personalizada por paciente, lo haría mejor.

Tercero, los análisis cronológicos y de umbral se añadieron después de los análisis iniciales y los autores los califican de exploratorios; el filtrado es no causal (usa muestras futuras, imposible en tiempo real); el control Siena cubre un solo modelo, PSD+LDA, sin los modelos profundos. Los cinco pipelines son reimplementaciones sin búsqueda de arquitectura: un resultado negativo con versiones no optimizadas no prueba que ninguna versión optimizada pudiera funcionar. Por último, es un preprint sin revisión por pares, sin validación prospectiva ni estatus regulatorio.

Lo que cambia

Para la comunidad investigadora, el artículo aboga por normas de evaluación: separar pacientes entre entrenamiento y prueba, agrupar los identificadores de una misma persona, respetar el orden cronológico de las crisis, fijar el umbral con datos distintos e informar de las falsas alarmas por hora. También invita a releer las cifras de la literatura comprobando primero el esquema de partición. No demuestra por sí solo que cada artículo anterior esté distorsionado, solo que el riesgo es medible y grande.

Para los clínicos, hoy nada cambia en la práctica, y esa es la información útil: ningún sistema de predicción de crisis por EEG de superficie presentado con un rendimiento espectacular debería tomarse en serio sin validación en pacientes nunca vistos y en tiempo continuo. Para pacientes y público, esto no significa que la predicción sea imposible, sino que la promesa de un aviso fiable sigue, por ahora, sin demostrarse con estos métodos.

Para ir más lejos

El preprint: Song Z., Pedersen M., Henare D., «Same pipelines, different answers: how evaluation design shapes EEG seizure prediction», medRxiv, 29 de octubre de 2026, doi:10.64898/2026.10.28.26366763. Código: github.com/TsikonSong/EEG-Seizure-Prediction. Datos: CHB-MIT y Siena Scalp EEG en PhysioNet.

Este Decryptage se elaboró con ayuda de IA a partir del texto del preprint y se sometió a revisión editorial; los cálculos clínicos derivados se señalan como tales.