Reacciones transfusionales: tres LLM de pesos abiertos extraen de las notas clínicas los signos del protocolo NHSN con pocas falsas alertas, pero omiten uno de cada cuatro en el mejor caso, en 50 notas y sin referencia independiente

Un equipo de Norteamérica y la India construyó una cadena de grandes modelos de lenguaje (LLM) de pesos abiertos que lee notas clínicas y extrae, elemento por elemento, los signos que definen una reacción transfusional según el protocolo estadounidense de hemovigilancia NHSN. En 50 notas revisadas por dos médicos, los tres modelos probados casi nunca se equivocan cuando señalan algo (precisión superior a 0,98), pero el mejor omite aproximadamente uno de cada cuatro elementos y los otros dos más de uno de cada tres. Es una prueba de viabilidad honesta y reproducible, todavía no una herramienta de vigilancia: la muestra es pequeña, elegida entre casos sospechosos, y la referencia se construyó revisando las propias salidas de los modelos.

El contexto

Una reacción transfusional es un efecto adverso ligado a la transfusión de un hemoderivado: fiebre, reacción alérgica, hemólisis, sobrecarga circulatoria (TACO, transfusion-associated circulatory overload) o lesión pulmonar aguda (TRALI, transfusion-related acute lung injury). En Estados Unidos, el módulo Hemovigilance del NHSN (National Healthcare Safety Network, dependiente de los CDC) ofrece definiciones de caso estandarizadas para doce tipos de reacciones, basadas en signos, síntomas y resultados de laboratorio.

El problema es conocido: la mayoría de las reacciones nunca se notifican. Los autores citan un estudio de vigilancia electrónica en el que solo 11 de 78 TRALI y 5 de 45 TACO detectados por un algoritmo se habían notificado al banco de sangre. Las pistas suelen existir, pero en texto libre, en las notas de los clínicos, que ni las consultas sobre datos estructurados ni las palabras clave aprovechan bien. De ahí la idea de usar LLM, modelos entrenados con grandes cantidades de texto y capaces de extraer información de él según instrucciones, para convertir esas notas en variables utilizables. Tatakoto ya ha analizado intentos cercanos, como la extracción de efectos adversos de radioterapia a partir de consultas grabadas o la detección de crisis no epilépticas en notas clínicas.

El método

Los autores tradujeron primero el protocolo NHSN (versión 3.0) a un vocabulario de 181 elementos: 93 signos clínicos o de laboratorio tomados de las definiciones de las doce reacciones (disnea, prurito, LDH elevada, hemocultivo positivo, infiltrados bilaterales, etc.) y 88 «negativos pertinentes», es decir, la mención explícita de que un signo está ausente, información útil para descartar una reacción.

La cadena se denomina «multiagente», pero cada etapa usa el mismo modelo con una instrucción (prompt) distinta. La etapa 1 identifica los elementos presentes o ausentes, con la cita del texto que los justifica; las respuestas se cotejan con el vocabulario de forma determinista y se descarta cualquier término fuera de la lista. La etapa 2 sitúa cada elemento en el tiempo respecto a la transfusión, o lo marca como «incierto». La etapa 3 rellena las variables detalladas del esquema NHSN, aceptando solo los valores permitidos. Dos etapas exploratorias (tratamientos, antecedentes) no se evaluaron.

Se compararon tres modelos de pesos abiertos (open-weight, cuyos parámetros pueden descargarse): Qwen 3.6-27B, GPT-OSS-120B y Kimi K3. Los dos primeros funcionaron a temperatura 0 (respuestas casi deterministas), Kimi K3 a temperatura 1,0, valor fijado por el proveedor. No se ejecutaron en local, sino a través de los servicios en línea Groq y OpenRouter, configurados, según los autores, sin retención de datos.

La evaluación abarca 50 notas: 10 escenarios redactados por expertos para un estudio de validación del módulo NHSN publicado en Transfusion (Fung et al.), 20 casos clínicos publicados procedentes de PMC-Patients y 20 informes de alta hospitalaria de MIMIC-IV, base de datos del Beth Israel Deaconess Medical Center de Boston. Los casos reales se preseleccionaron por palabras clave y luego los filtraron un LLM y el autor sénior; se excluyeron 18 casos de desarrollo.

No existe una anotación de referencia establecida de forma independiente. Dos médicos revisaron, en una interfaz ciega (modelos anonimizados, orden aleatorio), cada salida de los tres modelos: aceptaban o rechazaban cada elemento y podían añadir los que los modelos habían omitido. El análisis principal solo conserva los elementos en los que ambos médicos coinciden. Las métricas son la sensibilidad (proporción de elementos considerados presentes que el modelo encontró), la precisión (proporción de elementos extraídos que son correctos) y una «especificidad» definida aquí como la proporción de ausencias declaradas por el modelo que se confirmaron.

Los resultados

Los dos médicos coincidieron en 1.201 de los 1.343 elementos evaluados por ambos (89,4 %), con un alfa de Krippendorff de 0,73 (índice de acuerdo corregido por el azar, 1 = acuerdo perfecto). En estos elementos concordantes, la precisión supera 0,98 en los tres modelos. La sensibilidad es de 0,774 (intervalo de confianza del 95 %: 0,745-0,800) para Kimi K3, 0,636 (0,604-0,667) para GPT-OSS-120B y 0,624 (0,593-0,655) para Qwen 3.6-27B, es decir, puntuaciones F1 (media armónica de precisión y sensibilidad) de 0,87, 0,78 y 0,77. La «especificidad» va de 0,95 a 0,99. Reintegrar los elementos discordantes apenas cambia las cifras (0,78, 0,65 y 0,62) y no altera la clasificación.

Los errores son casi todos omisiones: 196 falsos negativos para Kimi K3, 317 para GPT-OSS-120B y 354 para Qwen, de los que entre el 95 y el 100 % son omisiones puras. Los falsos positivos son raros: 2 para Qwen, 4 para GPT-OSS y 12 para Kimi K3 en el texto principal, pero 6 en una tabla suplementaria, una incoherencia que el preprint no resuelve. Las omisiones afectan sobre todo a criterios de laboratorio y a criterios definitorios complejos («enfermedad clínica inexplicada compatible con infección»), y a distinciones finas como hematuria frente a hemoglobinuria. La sensibilidad de Kimi K3 va de 0,68 en los escenarios de expertos a 0,82 en los casos publicados. La cronología se considera correcta o razonable en más del 92 % de los casos, los detalles clínicos en más del 97 %.

En términos concretos, según nuestro cálculo a partir de los falsos negativos publicados: en una nota típica, Kimi K3 deja fuera unos cuatro elementos del protocolo, los otros dos modelos entre seis y siete. De cada 100 elementos considerados presentes por los médicos, Kimi K3 encuentra unos 77 y los demás unos 63. En cambio, de cada 100 elementos señalados, menos de 2 son erróneos. La herramienta es, por tanto, fiable cuando afirma e incompleta cuando calla: para una vigilancia activa, lo costoso es la omisión, ya que un criterio ausente puede dejar un caso fuera de una definición NHSN.

Lo que está bien

Primero, una tarea bien anclada en la clínica. En lugar de preguntar al modelo «¿hubo una reacción?», los autores lo hacen trabajar sobre los componentes de las definiciones oficiales del NHSN, con la cita justificativa y la cronología. Cada salida se vuelve verificable por un humano.

Segundo, una evaluación humana cuidadosa y transparente en sus cifras. Dos médicos ciegos a la identidad de los modelos, un acuerdo entre evaluadores con su intervalo de confianza, un análisis de sensibilidad que reintegra los desacuerdos, resultados por fuente y un análisis de los tipos de error.

Tercero, una reproducibilidad real. Los tres modelos son de pesos abiertos; el código, las instrucciones, el vocabulario de 181 elementos y los identificadores de las notas de MIMIC-IV están publicados en GitHub, y las otras dos fuentes son públicas.

Lo que está menos bien

Primero, una métrica engañosa por la propia construcción de la referencia. No es una anotación independiente, sino una revisión de las salidas de los modelos: los médicos podían añadir omisiones, pero un elemento que ningún modelo vio y que los revisores no detectaron nunca entra en el denominador, lo que tiende a sobrestimar la sensibilidad. Además, la interfaz propagaba los juicios de una pestaña de modelo a otra, lo que reduce la independencia de las evaluaciones. El análisis principal descarta el 10,6 % de elementos discordantes, a menudo los más ambiguos. Por último, la «especificidad» reportada mide la fiabilidad de las ausencias declaradas, no la capacidad de no señalar nada cuando no hay nada: compararla con una especificidad diagnóstica clásica sería un error, como reconocen los autores.

Segundo, un sesgo de selección y de población. Cincuenta notas, preseleccionadas como reacciones probables, con una sola reacción supuesta por nota: no se sabe cuántas describen realmente una reacción, y la tarea real (encontrar unas pocas reacciones entre miles de notas de pacientes transfundidos) no se prueba. Las notas de MIMIC-IV proceden de un solo hospital universitario estadounidense, y los casos publicados son, por naturaleza, más completos y mejor redactados que las notas rutinarias. También son públicos y, por tanto, pueden haber formado parte de los datos de entrenamiento de los modelos, una posible forma de data leakage (fuga de datos) que el estudio no examina; es precisamente en esos casos donde la sensibilidad es más alta.

Tercero, un comparador ausente. No se prueba ninguna referencia externa: ni reglas por palabras clave, ni una instrucción única sin etapas, ni la abstracción manual por un profesional de hemovigilancia. No sabemos, por tanto, qué aporta la cadena de varias etapas ni si un 77 % de sensibilidad mejora lo existente. Las condiciones tampoco son idénticas entre modelos (temperatura 1,0 para Kimi K3 frente a 0 para los demás), cada nota se procesó una sola vez y no se mide la variabilidad entre ejecuciones. En cuanto a los datos, las notas de MIMIC-IV se enviaron a servicios en línea; los autores invocan las normas de PhysioNet y una configuración sin retención, sin precisar cómo se verificó. Un autor declara además haber trabajado como contratista en proyectos de OpenAI sobre la seguridad de las respuestas de salud; no se declara financiación.

Lo que cambia

Para la comunidad investigadora: este trabajo aporta un vocabulario estructurado, código y un protocolo de evaluación reutilizables para la hemovigilancia con LLM. El paso lógico siguiente es una evaluación sobre un flujo no seleccionado de notas de pacientes transfundidos, con una anotación de referencia independiente establecida antes de ver las salidas de los modelos, y una comparación con los métodos de vigilancia actuales.

Para los clínicos y los equipos de hemovigilancia: nada cambia hoy en la práctica; los propios autores indican que la cadena necesitará ajustes antes de conectarse a una base de notificación. El perfil de errores, muy pocas falsas alertas pero muchas omisiones, apunta a un uso como ayuda a la revisión, en el que la herramienta prerrellena un expediente que un humano completa, más que como filtro autónomo.

Para los pacientes y el público: la infranotificación de las reacciones transfusionales es un verdadero punto ciego de la seguridad asistencial, y este tipo de herramienta podría ayudar a contarlas mejor en el futuro. Pero un modelo que, en el mejor de los casos, omite un signo de cada cuatro todavía no puede servir de red de seguridad.

Para saber más

El preprint: Multi-Agent Generative Artificial Intelligence for Transfusion Reaction Feature Extraction, Kumari et al., medRxiv, publicado el 9 de noviembre de 2026, DOI 10.64898/2026.11.06.26367389. Sin revisión por pares.

Código, instrucciones y vocabulario: repositorio GitHub de los autores (licencia no indicada en el preprint). Definiciones de caso: módulo Hemovigilance del NHSN, CDC, versión 3.0. Datos: MIMIC-IV-Note (PhysioNet, acceso acreditado) y PMC-Patients.

Nota de transparencia editorial: este artículo fue producido por la cadena editorial automatizada de Tatakoto a partir de la versión 1 del preprint; no se pudieron consultar las tablas suplementarias. Las cifras de elementos omitidos por nota y por cada 100 elementos son cálculos nuestros a partir de los datos publicados. Las versiones inglesa, española y china han sido generadas por IA. ¿Ha detectado un error? Contáctenos.