Entrenar un modelo de historia clínica sin reunir jamás los datos: el aprendizaje federado puesto a prueba con 122 251 ingresos en cuidados intensivos

Michael Burkhart, Brett Beaulieu-Jones y colaboradores plantean una pregunta concreta: ¿se puede entrenar un «foundation model» de historia clínica sin reunir jamás en un mismo lugar los datos de varios hospitales? Con 122 251 ingresos en cuidados intensivos de tres sistemas de salud independientes y doce tareas de predicción, sus modelos generativos de eventos se transportan mucho mejor de un hospital a otro que los modelos clásicos (penalización de 0,025 puntos de AUC frente a 0,079), y el aprendizaje federado casi iguala al entrenamiento centralizado. Pero el hallazgo más útil es contraintuitivo: mancomunar los datos solo aporta una mejora modesta frente al entrenamiento puramente local, y esa ventaja se desvanece a medida que cada hospital acumula sus propios datos.

El contexto

Un foundation model de historia clínica es un modelo preentrenado con enormes cantidades de datos de salud, destinado a producir representaciones reutilizables para muchas tareas clínicas — predecir un deterioro, una mortalidad, un reingreso — sin empezar de cero cada vez. Tomada del éxito de los grandes modelos de lenguaje, la idea choca con dos obstáculos bien conocidos en salud.

El primero es el aislamiento de los datos. Las historias clínicas viven en sistemas de información hospitalarios separados, protegidos por el secreto médico y por normativas estrictas (RGPD en Europa, HIPAA en Estados Unidos). Reunir físicamente los datos de varios hospitales para entrenar un solo modelo es jurídicamente pesado, a veces imposible. El segundo es la caída de rendimiento en la transferencia: un modelo entrenado en un hospital suele funcionar bastante peor en otro, porque las poblaciones, los hábitos de codificación, los equipos y las prácticas de prescripción difieren. Es el modo de fallo del sesgo de población, omnipresente en la IA sanitaria.

El aprendizaje federado (federated learning) ofrece una salida elegante: en lugar de llevar los datos al modelo, se lleva el modelo a los datos. Cada hospital entrena localmente y luego comparte solo los parámetros aprendidos — nunca las historias en sí. Un servidor central agrega esas actualizaciones y devuelve un modelo mejorado. La promesa es doble: aprovechar el tamaño combinado de varios centros y, a la vez, mantener los datos en casa. Queda por saber si de verdad funciona y, sobre todo, si vale la pena. Es precisamente lo que este trabajo pone a prueba.

El método

Los autores reúnen 122 251 ingresos en cuidados intensivos procedentes de tres sistemas de salud independientes, armonizados al Common Longitudinal ICU Data Format (CLIF), un formato común sostenido por un consorcio académico de medicina intensiva. Esa armonización es la condición de base: sin un vocabulario compartido, comparar hospitales es como comparar idiomas distintos.

El núcleo del enfoque es el modelo generativo de eventos (generative event model, GEM). El principio: la historia de un paciente se descompone en una secuencia de «tokens» — cada analítica de laboratorio, cada medicamento, cada constante vital se convierte en un símbolo discreto, exactamente como un texto se descompone en palabras. El modelo aprende entonces, al estilo de un modelo de lenguaje, a predecir el próximo evento a partir de los anteriores. Al aprender a «narrar» la trayectoria de un paciente, construye representaciones internas que luego pueden conectarse a tareas concretas. Aquí, doce tareas de predicción posteriores a las 24 horas: a partir de las primeras 24 horas de un ingreso, anticipar eventos o desenlaces más tardíos.

La astucia experimental está en la comparación de cuatro regímenes de entrenamiento, una verdadera matriz. Intra-sitio: entrenar y evaluar en el mismo hospital (la referencia). Inter-sitio (cross-site): entrenar en un hospital y evaluar en otro — la medida directa de la transportabilidad. Centralizado: mancomunar todos los datos como si las barreras no existieran (el techo teórico). Federado: entrenar sin reunir jamás los datos, mediante dos algoritmos clásicos — FedAvg (Federated Averaging: cada sitio entrena localmente, el servidor promedia los pesos y el ciclo se repite a lo largo de varias «rondas de comunicación») y FedAvgM, su variante con inercia (momentum) del lado del servidor para estabilizar la agregación.

El comparador es LightGBM, un modelo de árboles de decisión potenciados (boosted) — la referencia sólida y difícil de batir para los datos tabulares clínicos. El rendimiento se reporta en ROC-AUC (área bajo la curva ROC: la probabilidad de que el modelo clasifique un caso positivo por encima de uno negativo) y en PR-AUC (área bajo la curva precisión-exhaustividad), esta última más honesta cuando el evento a predecir es raro — como lo son la mayoría de los desenlaces graves en cuidados intensivos.

Los resultados

Primer hallazgo: los modelos generativos de eventos logran la mejor ROC-AUC media, tanto intra-sitio como inter-sitio. Sobre todo, son mucho más transportables. Al mover el modelo de un hospital a otro, su rendimiento cae — es la «penalización inter-sitio». Para el GEM, esa penalización media es de 0,025 puntos de ROC-AUC y 0,027 de PR-AUC; para LightGBM sube a 0,079 y 0,089. Dicho de otro modo, el árbol potenciado pierde aproximadamente tres veces más al cambiar de institución. El modelo generativo encaja mucho mejor el cambio de contexto.

Segundo hallazgo: el aprendizaje federado funciona. FedAvg y FedAvgM se acercan al rendimiento del entrenamiento centralizado — el que ve todos los datos — y la mayor parte de las ganancias se obtiene en 5 a 10 rondas de comunicación, lo que hace el procedimiento poco costoso en intercambio de red. Se obtiene así casi el beneficio de la mancomunación sin sacar jamás los datos del hospital.

Tercer hallazgo, el más interesante: ese beneficio de la mancomunación es modesto. El entrenamiento centralizado multicéntrico solo es ligeramente mejor que un entrenamiento puramente local. Y su ventaja se concentra donde cabría esperar — cuando un hospital dispone de pocos datos locales — y luego disminuye a medida que este acumula sus propias historias. Traducción clínica honesta: para un gran centro que ya tiene decenas de miles de ingresos, ir a buscar los datos de los vecinos no aportaría casi nada. Conviene subrayar la dificultad de medición: una penalización de 0,025 puntos de AUC es pequeña, pero su impacto real — cuántos pacientes mejor o peor clasificados — depende por completo de la tarea y de la frecuencia del evento, dos elementos que el resumen no desglosa.

Lo que está bien

Un diseño experimental en matriz, poco frecuente y limpio. Comparar explícitamente intra-sitio, inter-sitio, centralizado y federado permite aislar lo que aporta cada pieza — la transportabilidad por un lado, la ganancia de la mancomunación por otro. Muchos artículos se limitan a anunciar «lo federado funciona»; este desmonta el mecanismo y dice dónde está el beneficio y dónde no.

Una transportabilidad cuantificada y específica. El resultado 0,025 frente a 0,079 no es un elogio vago: es una medida directa, sobre datos reales, de la robustez al cambio de hospital. Mostrar que un modelo generativo tokenizado se transporta tres veces mejor que un árbol potenciado sólido es una contribución concreta, útil para quien deba desplegar un modelo más allá de su centro de origen.

La honestidad de un resultado negativo. A contracorriente del ambiente dominante («más datos siempre es mejor»), los autores publican que mancomunar solo ayuda modestamente, y cada vez menos. Nombrar el verdadero cuello de botella — aprender representaciones realmente transportables — en vez de sobrevender el aparato federado es justamente la postura que se espera de un trabajo serio.

Lo que está menos bien

Un beneficio práctico escaso para un dispositivo pesado. El aprendizaje federado es técnicamente atractivo, pero si la ventaja multicéntrica es pequeña y se desvanece con la acumulación local, la relación coste/beneficio de toda la infraestructura (coordinación, rondas de comunicación, gobernanza interhospitalaria) se vuelve discutible para los grandes centros. El artículo lo muestra con honestidad, pero la consecuencia — lo federado ayuda sobre todo a las instituciones pequeñas — atempera con fuerza el entusiasmo.

El problema de fondo sigue abierto. La penalización inter-sitio no es nula, y los propios autores nombran el verdadero desafío: producir representaciones que se transporten entre sistemas heterogéneos. Es el sesgo de población sin resolver. Mientras mover un modelo cueste rendimiento, la promesa de un foundation model universal de historia clínica sigue siendo una dirección, no un logro.

Un alcance deliberadamente estrecho, y una confidencialidad afirmada pero no probada. El estudio es retrospectivo, limitado a cuidados intensivos, a tres sistemas y a métricas puramente de ML (ROC-AUC, PR-AUC) sin traducción clínica — sin calibración, sin beneficio neto, sin número necesario a tratar, sin ninguna prueba prospectiva a pie de cama. Por último, el argumento de confidencialidad de lo federado se presenta como un hecho: pero «los datos no se mueven» no significa «nada se filtra». Los parámetros compartidos pueden, en ciertos casos, dejar escapar información sobre los pacientes (ataques por inferencia, fuga de gradientes). El artículo no aborda ese frente, que habrá que tratar antes de cualquier despliegue.

Lo que cambia

Para la comunidad de investigación, este trabajo desplaza la pregunta correcta. Ya no se pregunta solo «¿se puede entrenar sin mancomunar los datos?» — la respuesta es sí, y a bajo coste de red — sino «¿se pueden aprender representaciones que de verdad se transporten de un sistema a otro?». El modelo generativo tokenizado, junto con la federación, se convierte en un ladrillo creíble para esa investigación, con un comparador y una matriz de evaluación reutilizables.

Para los clínicos y la gobernanza de datos, el mensaje es indirecto pero potente: es posible captar la mayor parte del beneficio de un modelo multicéntrico sin centralizar jamás las historias. Es un argumento serio para el cumplimiento normativo y la soberanía de los datos hospitalarios. Nada es desplegable a pie de cama hoy, pero la orientación importa para los departamentos de informática y los comités de ética que arbitran estas decisiones.

Para los pacientes y el público, dos ideas para retener. Primera, tus datos de cuidados intensivos pueden ayudar a mejorar modelos sin salir del hospital donde te atienden — una respuesta concreta al temor al compartir. Segunda, la intuición «cuanto más comparten los hospitales, mejor» hay que matizarla: más allá de cierto volumen local, la aportación de otros centros se vuelve marginal. El tamaño bruto no lo es todo; lo que cuenta es la capacidad de un modelo de seguir siendo bueno cuando se cambia de contexto.

Para saber más

El preprint está disponible en arXiv (2608.02939), enviado el 3 de agosto de 2026 (categorías cs.LG y cs.CY). La financiación y los conflictos de interés detallados figuran en el manuscrito. Para el contexto, véanse el formato común de datos de cuidados intensivos CLIF (Common Longitudinal ICU Data Format), el principio del aprendizaje federado y el algoritmo FedAvg (Federated Averaging), la lógica de los foundation models de historia clínica y de la tokenización de eventos clínicos, así como la distinción entre AUC ROC y AUC precisión-exhaustividad para los eventos raros.