Predecir el delirium en cuidados intensivos de un hospital a otro: qué se transfiere y qué no

Shengliang Ni y Kengo Sato (Institute of Science Tokyo) entrenan cinco familias de modelos para predecir el delirium en cuidados intensivos sobre dos grandes bases de registros de UCI — eICU, agregada en 208 hospitales de EE. UU., y MIMIC-IV, de un único centro de Boston — y luego los cambian de base para ver qué resiste al cambio de hospital. La ordenación de los pacientes por riesgo se transfiere bastante bien (AUROC externa de hasta 0,88–0,95 en un sentido), pero la calibración de las probabilidades y el umbral de alerta no se transfieren. La lección no es un número: es una distinción — la «transportabilidad» de un modelo clínico se descompone en capas que no viajan juntas, y confundir una buena ordenación con una herramienta desplegable es la trampa que este trabajo desmonta.

El contexto

El delirium es una alteración aguda y fluctuante de la atención y la conciencia, muy frecuente en cuidados intensivos, a menudo infradiagnosticada y asociada a peor pronóstico. No se lee en un análisis: se detecta con escalas repetidas a pie de cama, la CAM-ICU (Confusion Assessment Method for the ICU) y la ICDSC (Intensive Care Delirium Screening Checklist). Un modelo predictivo resulta atractivo por una razón: señalar pronto a los pacientes de riesgo para reforzar la vigilancia y la prevención.

El problema recurrente de estos modelos es el desplazamiento de distribución: un modelo entrenado en un hospital rinde peor en otro porque difieren las poblaciones, las prácticas de documentación y las tasas de enfermedad. La mayoría de los trabajos se limita a una validación interna (mismo hospital, datos reservados) y reporta un AUC favorecedor. Ni y Sato plantean una pregunta más fina: cuando un modelo cambia realmente de base de datos, ¿qué se degrada y, sobre todo, se degrada todo por igual? Su respuesta es que la transportabilidad no es un todo o nada, sino una pila de capas — definición de la diana, ordenación del riesgo, calibración de probabilidades, política de alerta — que no se transfieren al mismo ritmo.

El método

Los autores usan dos bases públicas de cuidados intensivos. eICU cubre 28 321 estancias (2014–2015, 335 unidades en 208 hospitales de EE. UU.), es decir 2 496 432 ventanas temporales; MIMIC-IV cubre 49 828 estancias de un único centro de Boston (2008–2022), es decir 5 881 343 ventanas. Una «ventana» es un instante en el que el modelo, a partir del historial reciente del paciente, debe predecir el futuro próximo. La diana principal es el delirium persistente o recurrente en las 4 horas siguientes; un punto positivo se cuenta como persistente/recurrente si el episodio observado supera las 48 horas o reaparece tras una interrupción de al menos 48 horas.

Un hecho estructurante: las evaluaciones de delirium son escasas y desiguales. Un estado evaluado solo está disponible en el 15,3 % de las ventanas de eICU frente al 7,8 % de las de MIMIC-IV, y entre las evaluaciones explícitas la proporción de positivos es del 9,5 % en eICU frente al 29,6 % en MIMIC-IV — casi el triple de frecuencia entre ambos hospitales. Se comparan cinco familias de modelos sobre 137 variables (demografía, constantes vitales, laboratorio, escalas neurológicas, fármacos, soporte respiratorio, variables del proceso de observación): una regresión logística LASSO (lineal parsimoniosa), XGBoost (árboles de decisión potenciados, no lineal) y tres modelos de secuencia — GRU, LSTM y Transformer — que leen el orden cronológico de las medidas. La validación es bidireccional: entrenar en una base y evaluar en la otra sin reentrenamiento (eICU→MIMIC-IV y MIMIC-IV→eICU), con una partición 70 % / 15 % / 15 % que mantiene juntas todas las ventanas de una misma estancia. Los comparadores de referencia son curvas descriptivas basadas en la escala de coma de Glasgow (GCS) y la escala de sedación RASS.

Los resultados

En validación interna, la discriminación — la capacidad de ordenar un caso futuro por encima de un no-caso futuro, medida por el AUROC (área bajo la curva ROC; 0,5 = azar, 1,0 = perfecto) — es alta: 0,87–0,92. En cuanto se cambia de base, cae: con la etiqueta «gruesa», el AUROC externo baja a entre 0,66 y 0,83 según el sentido y el modelo. Con la diana afinada del delirium persistente/recurrente, medida a nivel de estancia, la ordenación se comporta mejor: AUROC externo de 0,88–0,95 en el sentido MIMIC-IV→eICU, pero de solo 0,76–0,89 en el inverso — la transportabilidad es asimétrica. Un punto clave: con la diana de delirium de nueva aparición (casos estrictamente de novo), el AUROC externo se desploma a 0,50–0,58, es decir, al nivel del azar. El cribado por riesgo conserva utilidad: el decil de mayor riesgo concentra los casos futuros con un enriquecimiento de 2,4 a 6,9 veces respecto a la frecuencia de base.

¿De dónde procede esa discriminación? Al retirar todo el historial de evaluaciones previas, el AUROC externo cae de 0,16 a 0,32 puntos: el modelo se apoya masivamente en el rastro documentado del delirium pasado, no en la fisiología bruta. La calibración, en cambio, no se transfiere: no existe correspondencia común entre probabilidades predichas y frecuencias observadas de una base a otra (en un sentido el modelo sobrestima en el tramo alto, en el otro subestima), y las pendientes de calibración son demasiado inestables para cuantificarse por falta de eventos. Por último, los autores fijan una política de revisión con dos umbrales (descartar / revisar / alertar) y la aplican a ciegas en la otra base. El tramo de descarte es muy seguro — valor predictivo negativo del 99,8 % y del 98,5 % según el sentido — pero la zona de alerta solo capta el 9,2 % y el 11,0 % de las ventanas realmente seguidas de delirium. En términos clínicos: de cada diez ventanas que van a derivar en delirium, la capa de alerta congelada falla unas nueve. La herramienta tranquiliza de forma fiable a los pacientes de bajo riesgo, pero es una alarma precoz mediocre cuando el umbral elegido en otro sitio se transporta tal cual.

Lo que está bien

Una validación cruzada bidireccional sobre dos grandes bases reales. Entrenar y luego evaluar en ambos sentidos (eICU↔MIMIC-IV), sobre millones de ventanas y cinco familias de modelos, va mucho más allá de la validación interna habitual. Es precisamente este diseño el que revela la asimetría (0,88–0,95 en un sentido, 0,76–0,89 en el otro) que una evaluación unidireccional habría ocultado.

La descomposición en capas, honesta y operativa. Separar explícitamente definición de la diana, ordenación, calibración y política de alerta es una aportación conceptual útil: muestra que un modelo puede «funcionar» en un criterio (la ordenación) siendo inutilizable en otro (la calibración o el umbral). Es un marco reproducible, no un eslogan.

Un análisis de ablación que revela el mecanismo. Al cuantificar la pérdida de AUROC cuando se retira el historial de evaluaciones (0,16–0,32), los autores muestran de dónde viene el rendimiento: el modelo sigue una trayectoria documentada en lugar de predecir una aparición biológica. Nombrar este mecanismo, en vez de ocultarlo tras un AUC alto, es exactamente lo que se espera de un trabajo serio.

Lo que está menos bien

La métrica engañosa. Un AUROC de 0,90 hace creer en una herramienta lista, cuando la calibración no se transfiere y la capa de alerta congelada falla unos nueve casos futuros de cada diez. Peor aún, con el delirium estrictamente nuevo, el AUROC externo (0,50–0,58) está al nivel del azar: la buena discriminación global se apoya sobre todo en casos ya documentados, no en predecir un evento futuro. La discriminación por sí sola no dice nada de la utilidad a pie de cama.

Un estimando condicionado por la observación, próximo al shortcut learning. Como las evaluaciones de delirium son escasas (7,8–15,3 % de las ventanas) y el modelo se apoya en su historial, aprende en parte la intensidad de la vigilancia, la sospecha de los clínicos y los hábitos de documentación — no solo la enfermedad. Los autores lo reconocen: el estimando está condicionado por el proceso de observación y no debe extrapolarse a los instantes no evaluados ni a la incidencia real del delirium. Es un modo de fallo clásico — el modelo aprende un atajo (el rastro de vigilancia) correlacionado con la diana.

Sesgo de población, comparador débil, ausencia de prospectivo. Las tasas de positivos difieren en un factor tres entre bases (9,5 % frente a 29,6 %), MIMIC-IV es monocéntrica y el estudio se apoya solo en dos bases estadounidenses retrospectivas. Los comparadores (curvas GCS y RASS) son descriptivos, no referencias sólidas. Las etiquetas son definiciones operativas, no diagnósticos adjudicados. Sobre todo, no se demuestra ninguna evaluación prospectiva, beneficio clínico ni ganancia de carga de trabajo — algo que los propios autores subrayan.

Lo que cambia

Para la comunidad investigadora, el trabajo ofrece una plantilla de validación «por capas» que debería convertirse en un mínimo: informar solo del AUROC externo ya no basta; hay que probar también la calibración y la política de decisión en la base de destino. La distinción entre lo que se transfiere (la ordenación) y lo que no (probabilidades, umbrales) explica por qué tantos modelos «validados» decepcionan una vez desplegados.

Para los clínicos y los equipos de integración, el mensaje es claro: un modelo que muestra un buen AUC en otro hospital no es de instalación directa. Hay que recalibrarlo localmente y volver a elegir los umbrales con datos propios. El tramo «a descartar» (valor predictivo negativo ~99 %) puede ayudar al triaje y a tranquilizar, pero la capa de alerta transportada tal cual falla la mayoría de los casos — una falsa seguridad si se usa como alarma.

Para los pacientes y el público, lo que está en juego es invisible pero real. El delirium en la UCI es frecuente y en parte prevenible mediante una vigilancia reforzada. Una herramienta mal calibrada dispararía demasiadas o demasiado pocas alertas según el hospital; la fiabilidad formal de un modelo importado no garantiza su exactitud local. La lección útil: exigir que estas herramientas se validen con los datos del propio centro donde van a usarse, calibración y umbrales incluidos.

Para saber más

El preprint está disponible en medRxiv (DOI 10.64898/2026.07.19.26358409), financiado por la Japan Science and Technology Agency, sin conflictos de interés declarados, bajo licencia CC BY-NC-ND 4.0. Ambas bases están disponibles a través de PhysioNet para usuarios acreditados: la eICU Collaborative Research Database y MIMIC-IV. Para el contexto clínico, véanse los instrumentos de cribado CAM-ICU e ICDSC.