Etiquetas derivadas de informes frente a relectura de imágenes: en la cardiomegalia de MIMIC-CXR, la concordancia es casi nula

Yesika Alexandra Agudelo-Londoño y sus colegas hicieron que radiólogos releyeran 2.160 radiografías de tórax de MIMIC-CXR — el repositorio público que sostiene buena parte de la IA en imagen torácica — y compararon esa lectura con las etiquetas que el repositorio proporciona, extraídas automáticamente de los informes radiológicos. Para la cardiomegalia, la concordancia es casi nula: un kappa de Cohen de 0,011, y la etiqueta solo recupera el 1,3 % de los casos confirmados por los expertos, con la abrumadora mayoría de los desacuerdos originados en una simple omisión en el informe y no en una negación explícita. El resultado no acusa a los extractores de texto: muestra que un informe radiológico no es el inventario de lo visible en la imagen, y que suponerlo equivale a entrenar modelos sobre un objetivo mal definido.

El contexto

Unos pocos repositorios públicos sostienen hoy casi toda la investigación en IA sobre radiografía de tórax: MIMIC-CXR, CheXpert, ChestX-ray14, PadChest. Juntos aportan millones de imágenes asociadas a etiquetas de patología, y sirven tanto para entrenar clasificadores como para preentrenar foundation models (grandes modelos genéricos reutilizables mediante ajuste fino) y modelos visión-lenguaje.

Esas etiquetas casi nunca proceden de una relectura de las imágenes. Se extraen automáticamente del texto de los informes mediante herramientas de procesamiento del lenguaje — el CheXpert labeler y NegBio, que detectan la mención de un hallazgo y determinan si está afirmado, negado o es incierto. Sin ese procedimiento, ningún repositorio de este tamaño existiría.

El problema está aguas arriba de la herramienta. Un informe radiológico no es un registro exhaustivo: es un documento clínico que responde a una pregunta planteada por quien solicita la prueba. En hospitalización aguda, el radiólogo documenta lo que motiva el examen y lo que ha cambiado; un corazón grande pero estable desde hace diez años puede no mencionarse en absoluto. La etiqueta resultante codifica, por tanto, tanto una práctica de redacción como una realidad radiográfica. La brecha ya había sido señalada — por VisualCheXbert, por la literatura sobre estratificación oculta — sin que la práctica cambiara: la etiqueta del repositorio se sigue tratando como verdad de referencia a nivel de imagen.

El método

Los autores proponen un marco denominado Repository Supervision Auditing (RSA, auditoría de la supervisión de un repositorio) que toma como objeto no el modelo, sino la propia señal de aprendizaje, antes de cualquier entrenamiento. Cuatro etapas.

Una referencia experta a nivel de imagen. 2.160 estudios únicos (un paciente, un episodio) de MIMIC-CXR, restringidos a radiografías posteroanteriores no portátiles de pacientes hospitalizados sin paso por cuidados intensivos. Radiólogos certificados releyeron cada estudio DICOM con todas las proyecciones disponibles junto con el informe, anotando según terminologías normalizadas (RadLex, SNOMED CT, Fleischner Society).

La auditoría propiamente dicha. Las etiquetas del repositorio (CheXpert y NegBio) se binarizaron con una regla deliberadamente generosa: «incierto» cuenta como positivo, «no mencionado» como negativo. El kappa de Cohen mide la concordancia entre dos evaluadores restando la concordancia esperable por azar: 0 significa «no mejor que el azar», 1 concordancia perfecta. La PPA es la sensibilidad de la etiqueta — de los casos que ve el experto, qué proporción señala el repositorio; la NPA es su especificidad, y el VPP la precisión de la etiqueta. La cardiomegalia se eligió como hallazgo índice porque se define ante todo por la morfología de la silueta cardíaca en la imagen; el derrame pleural y la atelectasia sirven de comparación.

La caracterización de los desacuerdos. Cada falso negativo se reclasificó a nivel del texto en tres categorías: negación explícita en el informe, asignación de la etiqueta «No Finding» (sin hallazgos), o ausencia de mención pese a documentarse otras anomalías. Esa distinción es el corazón del artículo: separa un error de interpretación del texto de una práctica de redacción.

Una cohorte reconstruida y después un modelo. A partir de 14.200 exámenes reanotados, todos los casos confirmados se emparejaron con controles según diez covariables. El mayor desequilibrio, medido por la diferencia media estandarizada, cae de 0,87 a 0,005. Un control de calidad aplicado directamente a los archivos DICOM excluyó los estudios no frontales, anotados o mal expuestos. Cohorte final: 2.072 estudios, 1.020 positivos y 1.052 negativos, divididos sin solapamiento de pacientes en 1.453 / 311 / 308. Un DenseNet121 preentrenado en siete bases públicas se ajustó por completo sobre estas etiquetas expertas. El umbral de decisión (0,436) se fijó únicamente en la cohorte de validación.

Los resultados

La etiqueta del repositorio no recupera la cardiomegalia visible. Kappa de Cohen: 0,011 (IC 95 % 0,004–0,019), una concordancia indistinguible del azar. De 1.080 estudios en los que los radiólogos ven cardiomegalia, el repositorio etiqueta 14 — una PPA del 1,3 %. CheXpert, NegBio y su unión dan exactamente el mismo resultado. En cambio, el VPP alcanza 0,875: cuando el repositorio dice «cardiomegalia», casi siempre acierta. La etiqueta es, pues, muy precisa y casi ciega, la firma de un objetivo truncado más que ruidoso. El fallo no es uniforme, sin embargo: el derrame pleural obtiene un kappa de 0,319 (PPA 21,7 %) y la atelectasia 0,120 (PPA 7,9 %) — mejor, pero lejos de una concordancia aceptable.

El desacuerdo procede de la omisión, no de la negación. De 1.066 falsos negativos, solo 55 (5,2 %) corresponden a una negación explícita. Los otros 1.011 (94,8 %) proceden de una ausencia de mención, 979 de ellos bajo la etiqueta «No Finding». Dicho de otro modo: entre los 1.998 estudios que el repositorio declara sin hallazgos, los expertos ven cardiomegalia en 979 — casi uno de cada dos. Los extractores de texto hacen bien su trabajo; es el texto el que no contiene la información.

Sobre la cohorte auditada, un modelo estándar funciona. El DenseNet121 alcanza un ROC-AUC de 0,853 (IC 95 % 0,803–0,893) y un PR-AUC de 0,824 en el conjunto de prueba reservado, con sensibilidad de 0,862 y especificidad de 0,705. La calibración es moderada (puntuación de Brier 0,162, error de calibración esperado 0,099), sin diferencias significativas por edad o sexo, y los mapas Grad-CAM concentran la atención en la silueta cardíaca y no en los dispositivos implantados.

Traducción clínica. Sobre 1.000 radiografías con la misma proporción de cardiomegalias que esta cohorte — cerca de una de cada dos, muy por encima de cualquier flujo real —, el modelo señalaría unas 431 de 500 y se le escaparían 69, a costa de 148 falsos positivos entre los 500 exámenes normales. La comparación es brutal: sobre esos mismos 500 casos, la etiqueta del repositorio señalaría seis o siete.

Lo que está bien

Auditar la supervisión antes de modelar, y cuantificarlo. La idea de que las etiquetas derivadas de informes son imperfectas circula desde hace años como advertencia general. Aquí se convierte en una medición, con intervalos de confianza y un protocolo explícito.

La descomposición de los desacuerdos exculpa a los extractores. Distinguir negación explícita, «No Finding» y omisión convierte una constatación en diagnóstico. La conclusión — 94,8 % de omisiones — desplaza el objetivo: mejorar el procesamiento del lenguaje sobre los informes no resolverá nada para la cardiomegalia, porque la información falta en el origen. Es el tipo de precisión que evita una década de esfuerzos en el lugar equivocado.

Los dados estaban cargados a favor del repositorio, y aun así falla. Tratar «incierto» como positivo es la regla más favorable posible para la etiqueta del repositorio.

Lo que está menos bien

Un perímetro estrecho, que no conviene sobreinterpretar. Un solo repositorio, un solo hospital de origen, un solo hallazgo índice auditado en profundidad y una población filtrada: radiografías posteroanteriores no portátiles, pacientes hospitalizados sin paso por cuidados intensivos. La referencia experta abarca 52 hallazgos, pero solo se analizan tres. Nada garantiza que el desplome observado en la cardiomegalia se repita igual en CheXpert o PadChest, cuyas prácticas de redacción difieren — un sesgo de población que aquí juega en contra de generalizar la propia constatación, y los autores lo dicen con claridad.

Sin comparador para el modelo. El AUC de 0,853 flota sin punto de referencia: no se le opone ningún modelo entrenado con las etiquetas del repositorio. Los autores lo explican con honestidad — con una PPA del 1,3 % no existen prácticamente casos positivos para entrenar ese modelo en la misma cohorte —, pero la consecuencia permanece: el beneficio práctico de la auditoría se postula, no se demuestra. El comparador ausente es un modo de fallo más discreto que el comparador débil, e igual de limitante.

Una cohorte demasiado limpia y una auditoría hoy no verificable. Los 2.072 estudios se emparejaron, se equilibraron al 50/50 y se limpiaron a nivel DICOM. Es sano para aislar el efecto estudiado, pero produce una distribución que ya no se parece a un flujo clínico, donde una prevalencia real mucho menor hundiría el valor predictivo positivo. No hay validación externa ni evaluación prospectiva, la calibración sigue siendo moderada, y nada indica que las anotaciones expertas, la lista de estudios retenidos o el código vayan a publicarse — lo que hace que la propia auditoría sea difícilmente reproducible por un tercero. Sobre los intereses: el trabajo se realizó dentro del programa de imagen de SURA, con varios autores empleados o en formación allí, una coautora está empleada por IBM Research, el cómputo lo proporcionó Microsoft Azure y no se declara financiación externa.

Lo que cambia

Para la comunidad investigadora, es una invitación a releer toda una bibliografía. Un modelo que obtiene 0,9x de AUC en la cardiomegalia de MIMIC-CXR no ha aprendido a medir un índice cardiotorácico: ha aprendido a predecir si el radiólogo habría mencionado el hallazgo. Las dos tareas solo se solapan parcialmente, y las puntuaciones publicadas miden la segunda. La consecuencia afecta especialmente a los modelos visión-lenguaje preentrenados por emparejamiento imagen-texto, cuya señal es precisamente ese texto — hemos analizado un trabajo que muestra que en esos modelos el texto domina ampliamente a la imagen.

Para los clínicos, hoy no cambia nada: este artículo no evalúa ningún dispositivo desplegado. Sí aporta una pregunta que plantear a cualquier proveedor de una herramienta de lectura de radiografías — ¿sobre qué verdad de referencia se entrenó el modelo, informes o relectura de imágenes? Para los hallazgos definidos por la morfología visible, la respuesta no es un detalle técnico.

Para los pacientes y el público general, la lección es más amplia: el rendimiento de una IA médica está acotado por la calidad de lo que se le enseñó a imitar. Cuando un comunicado anuncia que un modelo «detecta una anomalía con un 95 % de precisión», la verdadera pregunta no es la cifra, sino contra qué se midió — como ocurre con los sesgos invisibles de los conjuntos de datos de imagen que abordamos en nuestros análisis sobre los subgrupos desfavorecidos y las firmas de conjunto de datos en mamografía.

Para profundizar

El preprint: Yesika Alexandra Agudelo-Londoño et al., When Repository Labels Are Not Image-Level Truth: A Supervision Auditing Framework for Chest Radiograph AI, arXiv:2608.10084 (2026), aceptado como presentación oral en el taller EMERGE de MICCAI 2026. El repositorio auditado: MIMIC-CXR-JPG, en acceso acreditado a través de PhysioNet. Los extractores cuestionados: CheXpert y NegBio.