Urgencias pediátricas: el agente Dr CaBot iguala a cuatro urgenciólogos en 100 niños hospitalizados, pero con un criterio cerca de su techo

Un equipo del Boston Children's Hospital y de Harvard entregó los historiales de 100 niños que pasaron por urgencias y luego fueron hospitalizados a un agente basado en un gran modelo de lenguaje, Dr CaBot, y a cuatro urgenciólogos pediátricos, revelando la información paso a paso. En la evaluación médica inicial, tanto el agente como los médicos proponen una lista de diagnósticos que contiene el diagnóstico correcto, o uno muy cercano, en el 95 % de los casos, y el diagnóstico mencionado en primer lugar es correcto en unos seis casos de cada diez. El resultado es serio porque se basa en historiales reales, pero el criterio está cerca de su techo, las notas fueron redactadas por especialistas y los niños ya estaban hospitalizados: aún no sabemos si el agente ayudaría allí donde se producen los errores diagnósticos.

El contexto

En urgencias, un niño mal diagnosticado o diagnosticado tarde puede volver más enfermo o sufrir una complicación evitable, sobre todo donde no hay urgenciólogo pediátrico, es decir, en la mayoría de las urgencias generales. De ahí el interés por los grandes modelos de lenguaje (LLM, redes neuronales entrenadas con enormes corpus de texto, capaces de producir un razonamiento redactado) como ayuda al diagnóstico diferencial, la lista jerarquizada de enfermedades compatibles con lo que se observa.

La mayoría de las evaluaciones se basaban en viñetas publicadas, a menudo presentes en los datos de entrenamiento de los modelos. Se habían probado historiales reales de urgencias en adultos, no en niños, cuyas presentaciones dependen mucho de la edad y del relato de los padres.

La herramienta evaluada, Dr CaBot, es un agente (un LLM que encadena por sí mismo varias etapas, aquí búsquedas bibliográficas y luego razonamiento) presentado en 2025 por parte del mismo equipo de Harvard y diseñado para razonar al estilo de las conferencias clínico-patológicas.

El método

El estudio es retrospectivo y unicéntrico: abarca las visitas a urgencias del Boston Children's Hospital entre el 1 de julio de 2024 y el 30 de junio de 2025 seguidas, en un plazo de 24 horas, de una hospitalización o de una intervención quirúrgica. Se excluyeron los niños atendidos por alguno de los autores. Los investigadores sortearon 25 visitas en cada una de cuatro franjas de edad (menos de 1 año, 1 a 4 años, 5 a 11 años, 12 a 17 años), es decir, 100 niños: mediana de edad de 4 años, 45 % niñas, 41 % con una enfermedad crónica compleja, de los cuales 10 trasladados desde otro hospital.

La información se extrajo de la historia clínica electrónica y se reveló en cuatro tiempos: (1) el triaje, con la nota de enfermería y las constantes vitales; (2) la evaluación médica inicial, con la historia de la enfermedad actual, los antecedentes y la exploración física, definida de antemano como criterio principal; (3) la estancia en urgencias, con el razonamiento del médico, la analítica, la imagen y los tratamientos; (4) la nota de ingreso redactada por el equipo de hospitalización o de cirugía. En cada etapa, cada «diagnosticador» proponía hasta cinco diagnósticos ordenados.

Dr CaBot funcionaba con GPT-5.4 de OpenAI (esfuerzo de razonamiento «alto»), a través de un punto de acceso de Azure conforme a la ley estadounidense de datos de salud (HIPAA), con un prompt (instrucción inicial) que lo situaba como médico de las urgencias pediátricas del hospital. Dos configuraciones funcionaron de forma independiente: una podía consultar 1,6 millones de resúmenes de artículos clínicos, hasta 25 búsquedas por caso; la otra no tenía acceso a la literatura. Del lado humano, cuatro urgenciólogos pediátricos adjuntos leyeron los mismos datos, en el mismo orden, sin límite de tiempo y sin ver las propuestas del agente.

La referencia (el diagnóstico «verdadero») la establecieron otros dos urgenciólogos pediátricos a partir de la historia completa, incluido el informe de alta. Después puntuaron cada lista con la puntuación de Bond, una escala de 0 a 5: 5 si el diagnóstico exacto figura en la lista, 4 si hay uno muy cercano, 3 si hay uno relacionado que podría haber ayudado, 2 si hay uno relacionado poco útil, 0 si nada se acerca. Una puntuación de 4 o más cuenta como «lista pertinente». Para ocultar el origen de las listas, todas fueron reescritas por GPT-5.4 en términos desarrollados y presentadas en orden aleatorio.

Para cada caso, los autores comparan la mediana de las puntuaciones de los cuatro médicos con la de las dos configuraciones del agente, mediante la prueba de McNemar (adecuada para comparaciones pareadas). El cálculo de potencia, basado en un estudio previo en adultos, buscaba una diferencia de 10 puntos y exigía al menos 77 visitas.

Los resultados

En la evaluación médica inicial, criterio principal, los médicos y Dr CaBot producen cada uno una lista pertinente (puntuación de Bond de al menos 4) en 95 de cada 100 casos. La diferencia es nula, con un intervalo de confianza del 95 % de −5,8 a +5,8 puntos. En las demás etapas las cifras siguen siendo muy parecidas: 91 frente a 91 en el triaje, 96 frente a 98 tras la estancia en urgencias, 98 frente a 99 en el ingreso (médicos y luego agente), sin diferencias significativas.

Un criterio más exigente: ¿es correcto el diagnóstico situado en primer lugar? Los médicos lo logran en 53, 61, 68 y 73 de cada 100 casos en las cuatro etapas, el agente en 50, 62, 74 y 76, de nuevo sin diferencias significativas. Dar al agente acceso a los 1,6 millones de resúmenes no mejoró su rendimiento de forma detectable.

El acuerdo entre evaluadores es imperfecto (kappa ponderado de 0,64, una medida de acuerdo corregida por el azar en la que 1 es perfecto). Y en 34 casos, los evaluadores adivinaron el origen de las listas el 91,6 % de las veces: las del agente eran más largas y más exóticas.

Traducción clínica, a partir de las cifras del propio estudio: de 100 niños hospitalizados tras pasar por urgencias, en el momento en que el médico acaba de explorar al niño, unos 5 no tienen en la lista ni el diagnóstico correcto ni uno muy cercano, venga la lista del agente o de los médicos; y para 38 o 39 niños, el diagnóstico citado en primer lugar no es el correcto. El estudio no dice si son los mismos niños los que fallan en ambos lados, ni si combinar los dos daría mejor resultado.

Lo que está bien

En primer lugar, datos reales revelados en el orden real. Historiales hospitalarios de 2024-2025, nunca publicados, reducen el riesgo de que el modelo haya visto los casos durante su entrenamiento. Las cuatro etapas, con un criterio principal fijado de antemano, muestran cómo evoluciona el rendimiento a medida que llega la información.

En segundo lugar, una metodología declarada. Muestreo aleatorio estratificado por edad, tamaño muestral justificado, referencia establecida por expertos ajenos a ambos grupos, listas reescritas para ocultar su origen, y reporte según la guía STARD-AI. Los autores publican incluso el resultado que les perjudica: el enmascaramiento no funcionó.

En tercer lugar, un dispositivo cercano a un posible despliegue: un punto de acceso conforme a HIPAA, y una comparación con y sin búsqueda bibliográfica que muestra que la herramienta más sencilla basta aquí. La financiación es pública (NIH, subvenciones T32HD040128 y R01DK137993), filantrópica (Dunleavy Foundation) e institucional, y los conflictos de interés están declarados.

Lo que está menos bien

En primer lugar, un sesgo de población unido a una forma de fuga de información. Solo se incluyeron niños hospitalizados, en un gran centro pediátrico universitario. Sin embargo, muchos errores y retrasos diagnósticos afectan a niños enviados a casa, y la mayoría de los niños son atendidos en urgencias generales. Sobre todo, el agente lee notas de urgenciólogos pediátricos expertos, a veces redactadas después de iniciado el estudio diagnóstico: el razonamiento del médico ya está en ellas, como reconocen los autores. Máquina y médicos comparados se benefician así de un trabajo diagnóstico ya iniciado, lo que infla el rendimiento de todos.

En segundo lugar, una métrica engañosa por efecto techo. Cuando el 95 % de las listas se considera pertinente en ambos lados, queda muy poco margen para ver una diferencia. El estudio se dimensionó para detectar una diferencia de 10 puntos; contrasta una diferencia, no una no inferioridad (demostrar que una herramienta no es peor que otra más allá de un margen fijado de antemano). Un intervalo de −5,8 a +5,8 puntos no permite, por tanto, concluir equivalencia. La escala de Bond tampoco pondera la gravedad: no detectar una meningitis no es lo mismo que no detectar una gastroenteritis, y el estudio no presenta análisis de errores, ni diagnósticos graves omitidos, ni resultados por edad.

En tercer lugar, un comparador particular y un enmascaramiento fallido. El grupo humano es la mediana de cuatro médicos y el grupo máquina la de dos configuraciones: se comparan dos agregados, no un urgenciólogo con una herramienta. Los médicos leían notas, sin ver al niño ni sufrir presión de tiempo, lejos de una guardia real. Y como los evaluadores reconocían el origen de las listas en más de nueve de cada diez casos, sus puntuaciones pudieron verse influidas, en uno u otro sentido. Las listas más largas del agente también podrían inducir pruebas innecesarias, un coste no medido. Dos autores declaran vínculos con Google (un empleado de Google LLC y un investigador visitante en Google DeepMind), mientras que el modelo evaluado es de OpenAI.

Lo que cambia

Para la comunidad investigadora, este preprint aporta un protocolo reutilizable (historiales reales, información revelada por etapas, análisis planificado de antemano) y muestra los límites de la puntuación de Bond cuando ambos grupos están en el techo. Siguientes pasos lógicos: incluir a los niños enviados a casa, probar notas de urgencias generales, medir errores graves y pruebas inducidas y, después, evaluar prospectivamente a un médico asistido por la herramienta.

Para los clínicos, nada cambia hoy. Dr CaBot es un prototipo sin estatus regulatorio, y el estudio no evalúa a un médico ayudado por la herramienta. Sí indica que, con historiales bien documentados, un LLM generalista propone diagnósticos diferenciales comparables a los de especialistas: un candidato serio para un papel de «segunda opinión», siempre que no multiplique las pistas falsas.

Para los pacientes y el público, la promesa es llevar un razonamiento de nivel pediátrico a las urgencias sin pediatra. El estudio muestra que la herramienta no se queda atrás frente a especialistas en las condiciones más favorables, pero todavía no que reduzca los errores allí donde se producen.

Para saber más

El preprint: Agentic AI versus pediatric emergency physicians for differential diagnosis of acutely ill and injured children, Georgette, Buckley, Fine et al., Boston Children's Hospital y Harvard Medical School, medRxiv, publicado el 18 de noviembre de 2026, DOI 10.64898/2026.11.16.26367440. Los datos fuente no pueden compartirse; las puntuaciones anonimizadas están disponibles bajo petición.

El agente original: Advancing Medical Artificial Intelligence Using a Century of Cases, Buckley et al., arXiv, 2025.

En Tatakoto: un juez LLM calibrado con un panel de médicos para evaluar el razonamiento clínico y el triaje de ChatGPT Health en conversaciones de varios turnos.

Nota de transparencia editorial: este artículo fue producido por la cadena editorial automatizada de Tatakoto a partir de la versión 1 del preprint (PDF de medRxiv, texto principal; tablas suplementarias no consultadas). La conversión «de 100 niños» utiliza directamente las proporciones publicadas. Las versiones en inglés, español y chino son generadas por IA. ¿Un error? Contáctanos.