GazeRIB: la mirada de ocho radiólogos para entrenar IA con radiografías de tórax — bastan tres lectores, la ganancia externa sigue siendo frágil

Un equipo de Georgia Tech y Emory midió cuántos radiólogos hacen falta para que su mirada mejore el entrenamiento de un modelo de IA con radiografías de tórax: ocho expertos leyeron las mismas 80 imágenes con seguimiento ocular, y las zonas observadas sirvieron para enmascarar el resto de la imagen durante el aprendizaje. Un panel de tres lectores capta del 73 al 80 % de la ganancia del panel completo, mientras que ningún lector individual alcanza la significación en el criterio principal. La ganancia es real pero modesta, se transfiere solo a una de las dos cohortes externas y el comparador no está equilibrado: debe leerse como un estudio de método, no como una herramienta lista para la clínica.

El contexto

Entrenar un modelo de visión con radiografías de tórax (CXR) requiere muchas imágenes anotadas, y la anotación por radiólogos es lenta y costosa. Una idea antigua es aprovechar una información que el radiólogo produce sin esfuerzo adicional: dónde mira. El eye-tracking (seguimiento ocular) registra las fijaciones de la mirada durante la lectura; esos mapas pueden orientar al modelo hacia las regiones que los expertos consideran informativas.

Lo que la literatura dice poco es cuántos lectores hacen falta. Los radiólogos no miran todos una imagen de la misma manera, y un modelo guiado por una sola mirada puede heredar sus hábitos, incluso sus puntos ciegos. GazeRIB plantea entonces una pregunta práctica: ¿cuántas miradas, y de qué lectores, se necesitan para un beneficio fiable?

El método

Ocho expertos, cinco radiólogos certificados y tres residentes (cada uno con al menos un año de formación restante), leyeron las mismas 80 radiografías de tórax, 20 por clase de gravedad, con seguimiento ocular. Las fijaciones (duración, diámetro pupilar, proporción de aciertos) se convierten en máscaras suavizadas: las regiones no observadas se ennegrecen. Se obtienen 5.685 imágenes «ennegrecidas» para los ocho lectores, de 680 a 720 por lector. Se excluyeron las superposiciones de IA de las imágenes leídas.

La tarea de evaluación es la predicción de gravedad en cuatro clases (normal, leve, moderada, grave) en una cohorte de Emory: 2.897 radiografías frontales de 1.366 pacientes, imágenes de COVID-19 de enero a noviembre de 2020 (48,3 % hombres, edad media 58,5 ± 17,6 años, 73,6 % afroamericanos). La gravedad por COVID sirve aquí como indicador sustituto de la opacificación pulmonar general, no como criterio específico de la enfermedad. Las 80 imágenes con seguimiento ocular son disjuntas de la cohorte por paciente.

Se prueban siete arquitecturas preentrenadas en ImageNet: DenseNet-121, ResNet-18, ResNet-50, EfficientNet-B0, EfficientNet-B1, un Vision Transformer (ViT, que divide la imagen en bloques procesados con atención) y un Swin Transformer, cada una con una pequeña cabeza de clasificación (MLP). El entrenamiento tiene dos etapas: (1) se entrena la red completa con imágenes ennegrecidas según cinco estrategias de panel (un lector, los tres residentes, los cinco radiólogos, cuatro radiólogos más un residente, los ocho); (2) se congela la red y se ajusta una nueva cabeza con las imágenes originales. El comparador sin mirada congela la red preentrenada y entrena solo la cabeza con las 80 imágenes originales.

Las particiones están estratificadas por paciente y gravedad (20 % validación, 80 % prueba), repetidas con 10 semillas, es decir 910 modelos. Las pruebas son Wilcoxon pareadas bilaterales con corrección de Bonferroni sobre 35 pruebas estrategia-métrica, y el tamaño del efecto es la d de Cohen pareada (dz). Se usan dos cohortes externas sin reentrenar: SIIM-FISABIO-RSNA (6.054 estudios, etiqueta binaria, 72,3 % anormales) y MIMIC-Eye, subconjunto de MIMIC-CXR (1.938 imágenes, 781 anormales, etiquetas CheXpert).

Los resultados

Primero las métricas de ML. El F1 macro es el promedio, sobre las cuatro clases, de un puntaje que combina precisión y exhaustividad; el AUC (área bajo la curva ROC) mide la capacidad de separar dos clases (0,5: azar, 1: perfecto). Todos los paneles mejoran el F1 macro frente al comparador sin mirada, entre 5,33 y 7,47 puntos porcentuales (pp). El panel de ocho lectores gana 7,47 pp de F1, 5,90 pp de AUC y 6,20 pp de AU-PRC. Un lector solo gana 1,87 pp de F1, no significativo tras la corrección. Pasar de uno a tres lectores aporta 3,98 pp de F1 macro, de tres a ocho otros 1,62 pp; tres lectores captan del 73 al 80 % de la ganancia del panel completo. Un panel de tres residentes (+5,85 pp) rinde igual que cinco radiólogos (+5,39 pp) o un panel mixto (+5,33 pp).

La ganancia depende de la arquitectura: de 10,4 a 14,8 pp de F1 en las redes convolucionales (DenseNet-121, EfficientNet-B0, ResNet-18, ResNet-50) con los ocho lectores, 7,8 pp en EfficientNet-B1, prácticamente nula en Swin (+0,06 pp) y negativa en el ViT. La calibración (concordancia entre la probabilidad anunciada y la frecuencia observada) mejora: el error de calibración binario pasa de 0,142 sin mirada a 0,116 con un lector y a 0,069-0,080 con los paneles.

En externo, sin reentrenar: en SIIM-FISABIO-RSNA el AUC pasa de 68,8 % a 73,0 % con los ocho lectores (+4,24 pp), mientras que el promedio de lectores individuales no se mueve (+0,03 pp). En MIMIC-Eye ningún panel difiere significativamente del comparador (+0,75 pp, p = 0,054 con los ocho) y el promedio de lectores individuales retrocede 1,40 pp (p = 0,008). El lector con mayor ganancia interna (Rad5) queda último de ocho en ambas cohortes externas.

Traducción clínica. El estudio no informa sensibilidad ni especificidad a un umbral, por lo que no ofrecemos un número de falsos positivos por 1.000 pacientes, que sería inventado. Lo que sí puede decirse: un AUC externo de 73,0 % para detectar una radiografía anormal sigue lejos de un nivel de cribado utilizable, y una ganancia de 4 puntos en esa escala no cambia la naturaleza del modelo. Los autores no reclaman el estado del arte.

Lo que está bien

Primero, la pregunta es precisa y la respuesta está cuantificada: el estudio no se limita a mostrar que la mirada ayuda, mide el efecto del número de lectores (1, 3, 5, 8) y de su nivel (residentes, radiólogos, mixto), con tamaños de efecto y corrección por pruebas múltiples. «Tres lectores bastan para lo esencial» es útil para quien quiera recopilar este tipo de datos.

Segundo, la validación sale de la cohorte de desarrollo: dos conjuntos externos con esquemas de etiquetado distintos, y los autores informan del fracaso en MIMIC-Eye y de la degradación de los lectores individuales. Ver que el mejor lector interno queda último en externo es una información poco común sobre la fragilidad de una mirada individual.

Tercero, la lista de limitaciones es larga y específica, redactada por los propios autores, con financiación pública (NSF), declaración de ausencia de conflictos de interés y mención del uso de modelos de lenguaje para la revisión lingüística.

Lo que está menos bien

Primero, el comparador no está equilibrado, un caso de comparador sesgado. Solo entrena la cabeza de clasificación con 80 imágenes, mientras que los brazos con mirada actualizan toda la red: la ganancia atribuida a la mirada se mezcla con una ganancia de aprendizaje de representaciones, como admiten los autores. El número de lectores también se confunde con el volumen de imágenes ennegrecidas: ocho lectores son también muchas más imágenes de entrenamiento.

Segundo, la fuente de la mirada es minúscula y la etiqueta es un sustituto: 80 imágenes leídas por ocho personas, una cohorte de COVID-19 de 2020 en un único sistema hospitalario con una alta proporción de pacientes afroamericanos, y una gravedad usada como indicador de opacidad pulmonar. Es un riesgo de sesgo de población: nada indica que el resultado se mantenga para otras enfermedades, otros equipos u otros países, y no se presenta análisis por sexo, edad o origen. El desacuerdo entre lectores en las cuatro clases también limita el rendimiento alcanzable, y los resultados de los transformers (ViT negativo, Swin nulo) muestran que el método depende de la arquitectura.

Tercero, la robustez externa y la reproducibilidad son limitadas. Los análisis externos no están corregidos por pruebas múltiples, las cohortes externas tienen una etiqueta binaria no curada como el conjunto principal, y parte de las lecturas con seguimiento ocular se hizo con asistencia de IA, por lo que no puede excluirse una influencia residual sobre la mirada. No hay código ni datos públicos: «disponibles bajo petición razonable» al último autor. Por último, es un preprint sin revisión por pares, sin validación prospectiva ni estatus regulatorio.

Lo que cambia

Para la comunidad investigadora, el artículo da un orden de magnitud útil: tres lectores, incluidos residentes, captan lo esencial del beneficio, lo que hace más realista la recogida de miradas. También muestra que la mirada individual es una señal frágil y que un método «guiado por expertos» debe evaluarse con varios lectores y varias cohortes externas. Falta repetir la prueba con un comparador equilibrado (mismo entrenamiento de la red completa) para aislar el efecto de la mirada.

Para los clínicos, nada cambia en la práctica a corto plazo: es una forma de entrenar un modelo, no una herramienta para desplegar. A más largo plazo, la idea interesa a los servicios que ya disponen de eye-tracking, pues la mirada es un subproducto de la lectura diaria.

Para pacientes y público, el impacto es indirecto: reducir el coste de anotación podría facilitar modelos mejor entrenados, pero el artículo no establece ningún beneficio asistencial. Una ganancia en una cohorte externa y ninguna en la otra invitan a la prudencia.

Para ir más lejos

Preprint: Kittisut N., Gabriel R. M., van Assen M., Zandehshahvar M., De Cecco C. N., Krupinski E. A., Adibi A., «GazeRIB: Systematic Evaluation of Multi-Reader Gaze-Guided Chest X-ray Learning», arXiv:2610.42152, arxiv.org/abs/2610.42152. Conjuntos externos: SIIM-FISABIO-RSNA y MIMIC-Eye (MIMIC-CXR, PhysioNet). Código y datos: bajo petición al último autor (Ali Adibi).

Este análisis se elaboró con asistencia de IA a partir del texto del preprint; los cálculos e interpretaciones que no figuran en el artículo se señalan como tales.