Casos raros en medicina: entrenar a un LLM para elegir la próxima acción, no solo el diagnóstico final

Ofir Ben Shoham, Oriel Perets, Nir Grinberg y Nadav Rappoport (Ben-Gurion University of the Negev) parten de una constatación simple: la mayoría de las pruebas que evalúan a los modelos de lenguaje en medicina solo puntúan el diagnóstico final, mientras que la medicina real transcurre como una serie de decisiones intermedias — qué prueba pedir después, qué imagen obtener, a qué especialista llamar. Construyen MedUPSQA, un conjunto de 21 874 puntos de decisión extraídos de 5 535 casos clínicos raros reales, y luego entrenan modelos para predecir la próxima acción a medida que llega la información; esta reorientación eleva la exactitud del 55,2 al 66,7 % en su mejor modelo y — resultado más elocuente — un modelo pequeño alineado supera a modelos de vanguardia más grandes. La lección no es la cifra: es que aprender a razonar «sobre la marcha» importa más que el tamaño del modelo — siempre que se mire de cerca quién decide la respuesta correcta.

El contexto

Desde hace tres años, los grandes modelos de lenguaje (large language models, o LLM — sistemas entrenados para producir texto a partir de una consigna) se miden en medicina mediante baterías de preguntas de opción múltiple: USMLE, preguntas de especialidad, viñetas estandarizadas. Estas pruebas comparten un defecto estructural: presentan el caso completo de una vez y puntúan una sola cosa, el diagnóstico final. Pero un clínico casi nunca conoce a un paciente «de golpe». Recibe una queja, hace una pregunta, obtiene un resultado, toma una decisión y vuelve a empezar. Lo esencial de la medicina está en esa cadena de acciones intermedias — el próximo análisis, la próxima imagen, el especialista adecuado — mucho antes de que se establezca un diagnóstico.

El problema se agrava en los casos raros y «fuera de guía»: presentaciones atípicas, enfermedades poco frecuentes, respuestas inesperadas a los tratamientos. Es justamente ahí donde las guías clínicas dejan de aplicarse y el razonamiento paso a paso se vuelve decisivo. El mismo equipo ya había explorado este terreno con CUPCase (AAAI 2025), un conjunto de casos clínicos raros tomados de la literatura para probar los LLM en algo distinto de las preguntas de examen. MedUPS prolonga esa línea, pero desplaza el objetivo: ya no «¿cuál es el diagnóstico?», sino «¿qué hay que hacer ahora, con la información disponible en este momento?».

El método

Los autores parten de 5 535 informes de casos clínicos reales y los dividen en «fragmentos» cronológicos que se acumulan: el primer segmento contiene solo los elementos iniciales (motivo, antecedentes), y cada segmento siguiente añade una información (una prueba, un resultado, una evolución). En cada frontera entre dos segmentos definen un punto de decisión: dado todo lo anterior, ¿cuál es la próxima acción pertinente? Esta segmentación produce MedUPSQA, 21 874 puntos de decisión «en curso» (mid-stream). El objetivo no es, pues, una etiqueta diagnóstica única, sino la acción esperada en esa etapa — la prueba a pedir, la imagen a obtener, el especialista a implicar, la línea diferencial a seguir.

Para alinear los modelos con esta tarea, el equipo usa aprendizaje por refuerzo, en concreto GRPO (Group Relative Policy Optimization): en vez de imponer una respuesta de referencia, el modelo produce varias respuestas candidatas a la misma situación, se ordenan, y se empuja al modelo hacia las mejor puntuadas. La puntuación proviene de un «juez» — otro modelo de lenguaje (LLM-as-a-Judge) que compara la respuesta propuesta con lo que realmente ocurrió en el caso y asigna una recompensa. En paralelo, los autores entrenan versiones por aprendizaje supervisado clásico (supervised fine-tuning, SFT), que aprenden directamente a reproducir la próxima acción documentada, para verificar que la mejora no se deba solo a la mecánica del refuerzo. Se prueban tres modelos base (backbones): Qwen3.6-27B, Qwen3.5-9B y HuatuoGPT-3-8B, un modelo especializado en medicina. La métrica principal es la exactitud del próximo paso (next-step accuracy), es decir, la proporción de puntos de decisión donde la acción propuesta se juzga correcta, con intervalos de confianza del 95 %.

Los resultados

El alineamiento a mitad de camino mejora claramente los tres modelos. La exactitud del próximo paso pasa del 55,2 al 66,7 % en Qwen3.6-27B, del 47,2 al 57,8 % en Qwen3.5-9B, y del 37,8 al 44,4 % en HuatuoGPT-3-8B. La ganancia ronda los diez puntos para los dos primeros, más modesta para el modelo médico más pequeño. Las versiones SFT también progresan por encima de la base, lo que, según los autores, indica que la señal viene de la tarea misma — aprender la próxima decisión — y no solo del optimizador por refuerzo.

El resultado más interesante no es la cifra absoluta sino una comparación: a lo largo de varias escalas de modelos, el objetivo de alineamiento mejora la exactitud más que el tamaño. Dicho de otro modo, un modelo más pequeño pero alineado con el razonamiento paso a paso supera a modelos de vanguardia más grandes evaluados tal cual. Para un campo dominado por la carrera del tamaño, es una señal útil: cómo se entrena puede importar más que el número de parámetros.

En términos clínicos, conviene mantener la calma. Incluso el mejor modelo alineado se equivoca todavía una de cada tres veces: de 100 decisiones intermedias, falla unas 33. Y esos errores ocurren en casos raros, justo el terreno donde una mala «próxima acción» — una prueba inútil, una imagen que retrasa, una derivación equivocada — cuesta más en tiempo diagnóstico. Una cifra del 66,7 % de exactitud no es, por tanto, luz verde: es un avance medible en un problema aún ampliamente abierto.

Lo que está bien

Un replanteo acertado de la tarea, operacionalizado a gran escala. Pasar del diagnóstico final a la próxima acción se ajusta mucho mejor a la realidad del cuidado, donde la información llega a fragmentos. Los autores no solo lo afirman: convierten 5 535 casos en 21 874 puntos de decisión cronológicos, lo que produce un conjunto de datos sustancial para entrenar y medir ese razonamiento secuencial, allí donde los benchmarks clásicos solo puntúan un punto de llegada.

El alineamiento vence al tamaño — y la ablación lo confirma. Mostrar que un modelo pequeño alineado supera a modelos de vanguardia más grandes es un resultado específico y económicamente relevante. Sobre todo, añadir una variante SFT es buena higiene experimental: dado que el aprendizaje supervisado también mejora los tres modelos, la ganancia no es un artefacto del refuerzo, viene del objetivo de entrenamiento mismo. Es el tipo de control que distingue una demostración de un efecto de escaparate.

Una publicación abierta y reproducible. El conjunto de datos, el código y los modelos alineados (checkpoints) se difunden bajo licencia CC BY 4.0, la más permisiva. En un campo donde muchos «modelos clínicos» permanecen cerrados o bajo licencia no comercial, esta apertura permite la réplica, la crítica y la reutilización — y prolonga de forma transparente su trabajo anterior (CUPCase).

Lo que está menos bien

Un juez que puntúa y recompensa: acecha la métrica engañosa. El mismo tipo de herramienta — un LLM-as-a-Judge — sirve a la vez como señal de recompensa durante el entrenamiento y, de hecho, como definición de la «respuesta correcta». Se combinan dos riesgos clásicos. Primero, el reward hacking: un modelo entrenado para complacer a un juez automático puede aprender a producir respuestas que satisfacen al juez sin ser clínicamente mejores. Segundo, la circularidad: una «exactitud» definida por un modelo de lenguaje no es una exactitud validada por clínicos. Mientras la próxima acción no sea adjudicada por médicos independientes, la cifra del 66,7 % mide sobre todo el acuerdo con un juez algorítmico.

Una verdad de terreno frágil y un riesgo de fuga de datos. La «buena» próxima acción es la que efectivamente se documentó en el informe del caso. Pero un caso publicado narra un único camino, a menudo elegido retrospectivamente porque condujo al diagnóstico correcto; otras acciones razonables se cuentan entonces como erróneas. A ello se suma un modo de fallo propio de la IA en salud rara vez discutido aquí: la fuga de datos (data leakage). Los informes de casos de la literatura tienen bastantes probabilidades de estar ya presentes en los datos de entrenamiento de los modelos base (Qwen, HuatuoGPT); sin un procedimiento de descontaminación explícito, parte del rendimiento podría reflejar memorización más que razonamiento.

Un corpus curado, sin ruido clínico real, y cero validación prospectiva. Los casos raros publicados están fuertemente seleccionados: sesgo de publicación (se publica lo instructivo, lo resuelto, lo espectacular), predominio del inglés, ausencia del desorden de un expediente real (información faltante, contradictoria, mal registrada). Un modelo también puede aprender el estilo de los informes de casos — cómo los autores anticipan lo que viene — en lugar de la clínica misma (shortcut learning). Por último, todo ocurre sobre texto retrospectivo: ninguna evaluación prospectiva, ningún clínico en el bucle, ningún despliegue real. El rendimiento en condiciones reales sigue siendo desconocido.

Lo que cambia

Para la comunidad de investigación, el mensaje metodológico es claro: hay que puntuar el proceso, no solo el punto de llegada. MedUPSQA aporta una plantilla reutilizable para evaluar el razonamiento secuencial, y la ablación SFT muestra que la ganancia viene de la tarea. Los pasos siguientes evidentes son la adjudicación por clínicos independientes (en lugar de un juez modelo), una descontaminación explícita frente a los datos de preentrenamiento, y un paso a expedientes reales en vez de casos de literatura.

Para los clínicos, nada cambia en la práctica hoy: es un estudio de benchmark y de alineamiento sobre informes de casos, no una herramienta desplegada. Pero dibuja una dirección — asistentes que sugieren la «próxima acción» en vez de un diagnóstico — y una advertencia: un modelo que recomienda con seguridad la próxima prueba puede equivocarse una de cada tres veces en los casos raros, justo aquellos en los que uno estaría tentado de confiar en él.

Para los pacientes y el público, la lectura es sobria. Responder bien sobre casos raros cuidadosamente redactados no es lo mismo que ayudar a un paciente real en un recorrido asistencial real. El marco de «próxima decisión» es prometedor porque se ajusta a cómo se practica la medicina, pero sigue lejos de la cabecera del enfermo. Y si tales sistemas terminaran orientando decisiones de manejo, quedarían bajo supervisión regulatoria como software como dispositivo médico — no como un simple asistente conversacional.

Para saber más

El preprint está disponible en arXiv (DOI 10.48550/arXiv.2608.01012), bajo licencia CC BY 4.0; los autores anuncian la difusión del conjunto de datos MedUPSQA, del código y de los modelos alineados. Para el contexto, véase su trabajo anterior CUPCase (Clinically Uncommon Patient Cases and Diagnoses, AAAI 2025) sobre la evaluación de LLM a partir de casos clínicos raros, así como la literatura sobre GRPO y sobre los límites de la evaluación por LLM-as-a-Judge.