Sepsis en cuidados intensivos: un agente de aprendizaje por refuerzo que baja el tratamiento cuando sube el lactato, y al que las métricas estándar puntúan como el mejor

Dos ingenieros, uno en Vanderbilt y otro en Duke, tomaron dos agentes de aprendizaje por refuerzo entrenados para dosificar fluidoterapia y vasopresores en pacientes sépticos de la base MIMIC-III, y los sometieron a una prueba que la literatura casi nunca realiza: variar artificialmente el lactato del paciente y observar hacia dónde se mueve el tratamiento recomendado. El modelo que mejor imita a los clínicos — error cuadrático medio de 0,0098, siete veces más bajo que el de su competidor — recomienda reducir la intensidad del tratamiento en torno a un 15 % cuando el lactato sube, exactamente lo contrario de lo que prescribe la Surviving Sepsis Campaign; el otro modelo, peor imitador, responde en la dirección correcta en los quince niveles evaluados. El diagnóstico que proponen es acertado e importante — las métricas de imitación no miden la seguridad clínica — pero la demostración se apoya en una única semilla aleatoria, sin intervalo de confianza alguno, en un preprint de seis páginas que nunca dice cuántos pacientes utilizó.

El contexto

La idea de aprender una política de tratamiento de la sepsis a partir de historias clínicas de cuidados intensivos tiene un punto de partida preciso: el AI Clinician de Komorowski y colaboradores, publicado en Nature Medicine en 2018. El principio es el aprendizaje por refuerzo fuera de línea (offline reinforcement learning): en lugar de experimentar con pacientes, se entrena un agente sobre trayectorias ya registradas, enseñándole a elegir en cada paso temporal la acción (aquí, una dosis de fluidos y una dosis de vasopresores) que maximiza una recompensa que se supone refleja la supervivencia. El problema estructural es inmediatamente visible: la política aprendida nunca puede probarse en los pacientes de los que se dispone. Solo se tienen las decisiones que los clínicos tomaron realmente, y hay que estimar qué habría producido otra decisión.

De ahí el instrumental de evaluación habitual, y su punto ciego. Dominan dos métricas. El MSE (error cuadrático medio) mide la distancia entre la acción que predice el agente y la que tomó el clínico: es una medida de imitación, no de calidad. La FQE (Fitted Q-Evaluation) estima el valor esperado de la política aprendida ajustando una función de valor sobre los datos observados: es una extrapolación estadística cuya fiabilidad se desploma en cuanto la política evaluada se aleja de la que generó los datos. Gottesman y colaboradores lo escribieron sin rodeos en Nature Medicine en 2019: estas evaluaciones observacionales son en gran medida insensibles a si el agente aprendió una lógica causal o una correlación.

Este artículo añade una variante especialmente incómoda de ese problema, que bautiza como «toxic mimicry» (mimetismo tóxico). Las historias de cuidados intensivos contienen episodios de retirada terapéutica: cuando un paciente pasa a cuidados de confort, se suspenden los vasopresores y el paciente fallece. Estadísticamente, esas trayectorias asocian el deterioro biológico con una reducción del tratamiento. Un agente entrenado para imitar a los clínicos puede por tanto aprender perfectamente la regla «cuando el paciente empeora, se reduce», descriptivamente exacta y clínicamente catastrófica si se aplica a un paciente al que se intenta salvar. Los autores se apoyan en la literatura sobre el final de la vida en cuidados intensivos para mostrar que estas prácticas son masivas y heterogéneas: el estudio de Mark y colaboradores (2015) recoge tasas de retirada que van del 0 % al 84 % según el contexto. Conceptualmente, el fenómeno es una instancia de la causal confusion descrita por de Haan, Jayaraman y Levine en 2019: un modelo que aprende a copiar sus propias acciones pasadas en lugar de razonar sobre el estado del paciente.

El método

La cohorte. Los autores extraen de MIMIC-III v1.4 los pacientes adultos que cumplen criterios Sepsis-3, siguiendo explícitamente el pipeline de Komorowski. El espacio de estado tiene 44 variables (constantes vitales, resultados de laboratorio, datos demográficos), el espacio de acción es continuo y bidimensional — dosis de suero intravenoso y dosis de vasopresores —, lo que lo distingue de las 25 casillas discretas del AI Clinician original. La ventana deslizante es de seis pasos temporales de cuatro horas, es decir 24 horas de contexto, y la partición es 70/15/15 % a nivel de paciente. Hay que decirlo de inmediato, porque condiciona la lectura de todo lo demás: el número de pacientes, de estancias y de transiciones no aparece en ninguna parte, como tampoco la mortalidad de la cohorte ni sus características demográficas. No hay tabla descriptiva.

Los dos agentes. El primero, MedDT (Medical Decision Transformer), adapta el Decision Transformer de Chen y colaboradores (2021): un transformador causal que recibe como entrada la secuencia de recompensas restantes, de estados y de acciones pasadas, y predice la acción siguiente. Se entrena por pura imitación — un MSE sobre las acciones de los clínicos, sin función de valor. El segundo, HCT-RL (Historical Causal Transformer), combina tres elementos. El primero, llamado Causal Action Shielding, consiste exactamente en retirar las acciones pasadas de la entrada del codificador: el nombre promete un dispositivo de seguridad en tiempo real, el mecanismo es una ablación arquitectónica. El segundo es una ponderación por puntaje de propensión que reduce el peso de las acciones frecuentes en los datos. El tercero es el Conservative Q-Learning de Kumar y colaboradores, que penaliza las acciones ausentes de los datos. Ambos modelos comparten el mismo tamaño (dimensión 128, tres capas, cuatro cabezas) y se entrenan con cinco semillas aleatorias.

La auditoría. Es la aportación del artículo. El Counterfactual Clinical Audit (CCA) no mide un rendimiento, prueba una respuesta: se modifica artificialmente una variable fisiológica en el estado de entrada y se observa cómo se mueve la política. Tres pruebas. Auditoría I: inyectar ruido gaussiano (desviación típica 0,5 en unidades z) únicamente en la creatinina, variable hemodinámicamente no crítica, y medir cuánto se desplaza la acción recomendada — toda respuesta es por construcción espuria. Auditoría II: imponer un lactato constante en los seis pasos temporales, barrido en quince valores entre −2 y +5 puntuaciones z, y medir la intensidad media de tratamiento en cada nivel; el resumen es una correlación de rangos de Spearman, positiva si la respuesta se ajusta a las guías, negativa si está invertida. Auditoría III, llamada «en tijera»: hacer caer la presión arterial media (de +1 a −2 puntuaciones z) primero sola, después junto con un aumento de la frecuencia cardiaca y del lactato, y comprobar que el agente reacciona con más fuerza en el segundo caso — un clínico ante una hipotensión acompañada de hiperlactatemia escala más deprisa.

Los resultados

En las métricas estándar, gana MedDT. Su MSE es de 0,0098 frente a 0,0742 de HCT-RL, es decir una imitación unas siete veces más fiel. Su valor estimado por FQE es de 65,29 frente a 63,43. Dos reservas importantes acompañan estas cifras: la función de recompensa nunca se define en el artículo, lo que hace la escala de la FQE literalmente ininterpretable, y no se reporta ningún valor para la política de los propios clínicos. No hay, por tanto, comparador de referencia.

En la auditoría, la clasificación se invierte. En la Auditoría II, HCT-RL aumenta su intensidad de tratamiento de forma monótona con el lactato — correlación de Spearman de +1,00 en los quince niveles, con un aumento de aproximadamente el 10 % sobre el nivel de base. MedDT hace lo contrario: su intensidad cae alrededor de un 15 % por debajo del nivel de base en valores de lactato moderados a altos, con un rebote parcial en los valores extremos, para un ρ de −0,67. Es el resultado central del artículo. En la Auditoría I, la sensibilidad al ruido sobre la creatinina es de 0,060 ± 0,006 para MedDT frente a 0,032 ± 0,008 para HCT-RL en MIMIC-III. En la Auditoría III sobre MIMIC-III, HCT-RL muestra una divergencia en tijera positiva mientras que MedDT queda prácticamente plano.

La validación externa se realiza sobre MIMIC-IV v3.1, sin reentrenamiento. En la Auditoría III, HCT-RL conserva una divergencia positiva de 0,04 a 0,12, mientras que MedDT pasa a negativo, de −0,12 a 0: bajo estrés multiorgánico recomienda dosis de vasopresores inferiores a las que propone cuando solo cae la presión. La Auditoría II, la más importante, no se repitió en MIMIC-IV.

Traducción clínica: está ausente, y hay que decirlo. Todo se expresa en puntuaciones z y en normas de un vector de acción normalizado. El artículo nunca da la correspondencia entre su barrido de lactato y milimoles por litro, ni entre su «intensidad de tratamiento» y microgramos por kilo y minuto. No se puede, por tanto, escribir «la dosis baja X µg/kg/min por mmol/L de lactato»: esa cifra no existe en este trabajo. Lo que sí existe, y basta para el argumento, es un signo: en una patología donde la reanimación obliga a escalar cuando el lactato sube, el modelo con las mejores métricas de imitación desescala.

Lo que está bien

La prueba es sencilla, reproducible y apunta bien. Variar una variable y observar la derivada de la política no cuesta casi nada en cómputo, no exige datos adicionales, e interroga exactamente lo que el MSE y la FQE no pueden ver. Elegir la creatinina como variable testigo en la Auditoría I es hábil: es un control negativo construido sobre una justificación fisiológica, no sobre una intuición. Y la Auditoría III es la única de las tres que prueba una propiedad de integración — reaccionar con más fuerza ante una hipotensión contextualizada que ante una aislada — en lugar de una simple monotonía.

La demostración no se detiene en una sola base. Las Auditorías I y III se repiten en MIMIC-IV sin reentrenamiento, y la Auditoría I se reporta como media ± desviación típica sobre cinco semillas. Los autores citan a Nauka y colaboradores (npj Digital Medicine, 2025) sobre los fallos de transportabilidad de las políticas de refuerzo en sepsis, lo que muestra que conocen el problema en lugar de ignorarlo.

La sección de limitaciones es inusualmente franca. Los autores escriben que el CCA «audita la seguridad conductual pero no puede certificar directamente una mejora de resultados», y lo califican de «filtro de seguridad necesario más que criterio suficiente». Reconocen explícitamente que ambas bases MIMIC proceden de un único centro médico académico de Boston, que los límites de recorte de su ponderación no se han evaluado y — esto es raro — que «la variabilidad entre semillas de las métricas de las Auditorías II y III merece una investigación adicional». Dicho de otro modo, ellos mismos afirman que su resultado principal no está cuantificado en incertidumbre.

Lo que está menos bien

El resultado principal es de una sola semilla, y el relato no coincide con la tabla. Los autores indican que las Auditorías II y III se reportan para «la semilla con menor MSE de validación». El ρ de −0,67 y el 15 % no tienen por tanto intervalo de confianza, ni valor p, ni desviación típica entre semillas — sobre quince puntos de medida. Esa fragilidad se ve a simple vista en otro sitio: en la Auditoría I en validación externa, el texto anuncia una sensibilidad de MedDT de 0,10 frente a 0,01 de HCT-RL, es decir «diez veces mejor», mientras que la tabla multisemilla del mismo artículo da 0,062 ± 0,028 frente a 0,003 ± 0,003. El factor diez viene de la semilla elegida; ahí la desviación típica de HCT-RL es igual a su media. Es un caso claro de métrica engañosa, en un artículo cuyo tema es precisamente el engaño de las métricas.

El confusor paliativo nunca se demuestra en los datos. Toda la tesis descansa en la idea de que los episodios de retirada al final de la vida contaminan el aprendizaje. Sin embargo, no se extrae de MIMIC-III ninguna etiqueta de limitación terapéutica, de voluntades anticipadas o de paso a cuidados de confort para verificarlo. El mecanismo se argumenta desde la literatura y se infiere del comportamiento del modelo, nunca se mide. A ello se suma la ausencia de ablación: los tres componentes de HCT-RL — retirada de las acciones pasadas, ponderación por propensión, CQL — nunca se prueban por separado, de modo que el artículo no puede decir cuál corrige el mimetismo, pese a afirmar que son el «escudo causal» y la ponderación. Técnicamente, el único mecanismo que difiere estructuralmente es la retirada de las acciones pasadas de la entrada: es decir, literalmente, el remedio conocido desde 2019 contra la causal confusion.

La base probatoria es delgada y la población estrecha. Ningún efectivo de cohorte, ninguna función de recompensa escrita, ningún comparador clínico, ningún código publicado, ninguna declaración de financiación, de conflictos de interés ni de aprobación ética. Ambas bases MIMIC proceden del mismo hospital de Boston, lo que convierte la «validación externa» en MIMIC-IV en una prueba de deriva temporal más que en una prueba de sesgo de población: nada aquí dice cómo se comportan estos modelos en un sistema sanitario distinto. Por último, la Auditoría II — la única que produce el resultado llamativo — supone que se puede variar el lactato independientemente de las otras 43 variables. Los autores lo reconocen. Es una hipótesis fuerte: un lactato a +5 puntuaciones z con presión arterial y frecuencia cardiaca sin cambios no es un paciente que exista.

Lo que cambia

Para la comunidad investigadora, la aportación neta no es el resultado sino el protocolo. La idea de que una política aprendida debe someterse a una prueba de derivada anclada en una recomendación clínica — cuando esta variable sube, este tratamiento debe subir — es barata, general, y debería acompañar toda publicación de aprendizaje por refuerzo en salud al mismo título que la FQE. Operacionaliza la advertencia de Gottesman de 2019, que se había quedado en el plano del principio. Que el modelo mejor puntuado por las métricas estándar sea el que falla la auditoría es, en sí mismo, argumento suficiente para cambiar los usos de publicación. Un apunte, sin embargo: las dos críticas técnicas más conocidas del AI Clinician, la de Jeter y colaboradores y la de Oberst y Sontag, no se citan.

Para los clínicos, nada cambia en la práctica, y conviene ser claro: hoy ningún agente de aprendizaje por refuerzo se utiliza para pilotar la fluidoterapia o los vasopresores en cuidados intensivos, y este artículo no acerca esa perspectiva — más bien la aleja, al documentar un modo de fallo adicional. La enseñanza transferible es metodológica: ante una herramienta de apoyo a la decisión terapéutica, la pregunta no es «¿cuál es su rendimiento?» sino «¿qué hace cuando el paciente se deteriora?». Es una pregunta que un clínico puede plantear a un proveedor sin ser ingeniero.

Para los pacientes y el público, el punto importante es contraintuitivo y merece retenerse. Un modelo puede reproducir fielmente lo que hacen los médicos y ser peligroso precisamente por eso, porque las historias clínicas también registran las decisiones de retirada al final de la vida. Los autores van más lejos en su discusión al señalar que esas decisiones varían según el origen étnico y el nivel socioeconómico, y que tal sesgo podría por tanto repartirse desigualmente entre grupos. Lo escriben como hipótesis; en este artículo no se realiza ningún análisis por subgrupos que lo sustente.

Para saber más

El preprint está disponible en arXiv (2608.11410), depositado el 11 de agosto de 2026 bajo licencia no exclusiva de arXiv, por Hangqi Ren (School of Engineering, Vanderbilt University) y Junyi Liao (Pratt School of Engineering, Duke University). No se publica código. Los datos son MIMIC-III v1.4 y MIMIC-IV v3.1, accesibles en PhysioNet tras formación y acuerdo de uso. Para el punto de partida del campo, leer el AI Clinician de Komorowski y colaboradores (Nature Medicine, 2018); para la advertencia metodológica que estructura este trabajo, «Guidelines for reinforcement learning in healthcare» de Gottesman y colaboradores (Nature Medicine, 2019); para el concepto subyacente, «Causal confusion in imitation learning» de de Haan, Jayaraman y Levine (NeurIPS 2019).