Cuando la densidad mamaria distorsiona la evaluación de las IA de cribado: el banco de pruebas Mass-Bench y la degradación oculta (Mathematics, 2026)

Publicado el 10 de junio de 2026 en la revista Mathematics, este trabajo mexicano construye Mass-Bench, un banco de pruebas que reúne cuatro conjuntos de datos públicos de mamografía (32 930 imágenes, 8245 pacientes) para medir cómo los modelos de IA detectan y clasifican las masas mamarias — no de forma global, sino estratificando por densidad mamaria. El resultado central: el rendimiento se degrada de manera sistemática a medida que la mama se vuelve densa, una debilidad que las evaluaciones habituales, hechas sobre conjuntos desequilibrados, ocultan y convierten en un optimismo engañoso. La demostración es útil y el problema real — pero el propio artículo reproduce algunos de los defectos que denuncia, desde una cifra de titular imposible de encontrar en sus propias tablas, hasta casillas de prueba de una sola imagen, pasando por la ausencia de código publicado para algo presentado como un «benchmark».

El contexto

El cribado del cáncer de mama por mamografía tiene un enemigo bien conocido por los radiólogos: la densidad mamaria. Una mama «densa» contiene mucho tejido fibroglandular, que aparece blanco en la mamografía — exactamente el color de una masa sospechosa. Un tumor se esconde allí como un copo en una tormenta de nieve. El sistema de clasificación ACR (American College of Radiology) gradúa esta densidad de A (mama grasa, fácil de leer) a D (extremadamente densa, difícil), a menudo codificada de 1 a 4. Cuanto más se sube, más cae la sensibilidad de la mamografía — para el ojo humano y, según la hipótesis del artículo, también para los algoritmos.

Ahora bien, casi todas las IA de detección de masas se evalúan con cifras globales: una sola AUC, una sensibilidad media, sobre un conjunto cuya composición de densidades no está ni controlada ni es representativa de la población real. Si ese conjunto contiene sobre todo mamas poco densas y fáciles, el modelo parecerá excelente — y se desplomará en silencio en las pacientes con mamas densas, precisamente aquellas para quienes una herramienta de ayuda sería más valiosa. Es ese sesgo de evaluación lo que el estudio busca hacer visible, proponiendo un protocolo que mide el rendimiento por categoría de densidad en lugar de en una sola cifra agregada.

El método

El trabajo (DOI 10.3390/math14122080), firmado por Hector E. Zepeda-Reyes y Hayde Peregrina-Barreto (INAOE, México) y Gabriela C. Lopez-Armas (CETI, Guadalajara), construye primero Mass-Bench, un ensamblaje de cuatro bases públicas de mamografía bajo un esquema de anotación unificado: CBIS-DDSM (Estados Unidos), INBREAST (Portugal), VinDr-Mammo (Vietnam) y DMID (India). En total, 8245 pacientes, 32 930 imágenes y 3480 masas anotadas, cada una con su categoría de densidad ACR (1-4) y su puntuación BI-RADS (el Breast Imaging Reporting and Data System, la escala estándar de sospecha radiológica, de 2 «benigno» a 5 «altamente sospechoso»).

Sobre esta base, dos tareas. Primero la detección de masas, a cargo de tres versiones del detector YOLO («You Only Look Once», una familia de redes que localizan objetos en una imagen en una sola pasada) — YOLOv5, v8 y v11. Luego la clasificación, tanto de la densidad como del BI-RADS, sobre recortes centrados en la lesión. Para esta segunda tarea, las imágenes se transforman en vectores numéricos mediante cuatro redes preentrenadas que actúan como extractores de características (VGG19, ResNet50, DenseNet121, EfficientNet-B3, sin reentrenar), complementadas por descriptores «hechos a mano» (estadísticas de textura clásicas), y luego clasificadas por cinco algoritmos estándar (regresión logística, SVM, k vecinos más cercanos, bosque aleatorio, XGBoost).

Dos elecciones metodológicas merecen elogio de entrada. Las particiones entrenamiento/validación/prueba (70/20/10) se fijan a nivel de paciente, antes de cualquier preprocesamiento, para evitar que una misma mujer acabe en ambos lados — la defensa contra el data leakage (fuga de datos), donde el modelo «hace trampa» al volver a ver en la prueba casos que conoció en el entrenamiento. Y los autores cuantifican el desequilibrio de densidad de cada base mediante una divergencia de Kullback-Leibler (KL, una medida de la distancia entre dos distribuciones) frente a una referencia clínica plausible (10 % A, 40 % B, 40 % C, 10 % D). El veredicto: VinDr-Mammo (0,57) e INBREAST (0,45) están muy lejos de esa realidad, mientras que Mass-Bench (0,04) se le acerca.

Los resultados

En detección, YOLOv11 encabeza en Mass-Bench con un mAP@50 de 0,663 (el mAP, mean Average Precision, mide la calidad de localización; @50 significa que una caja cuenta como correcta si solapa la lesión real en al menos un 50 %) y un mAP@50-95 de 0,335, por delante de v8 (0,646) y v5 (0,598). Pero la cifra de titular del resumen — una AUC «de hasta 0,943» — proviene de un solo caso: YOLOv8 sobre DMID. Las demás bases son más modestas (CBIS-DDSM 0,671, VinDr-Mammo 0,801).

En degradación por densidad, el núcleo del argumento, la señal es nítida en VinDr-Mammo: el F1-score de detección cae de 0,750 para una mama poco densa (ACR 2) a 0,571 para una muy densa (ACR 4). La tendencia — menos acierto cuando sube la densidad — se repite de una base a otra, lo que valida la preocupación inicial: una cifra global suaviza esa caída y la vuelve invisible.

En clasificación, la densidad binaria (poco densa frente a densa) se clasifica bastante bien (exactitud de 0,90 en Mass-Bench, 0,95 en VinDr-Mammo), y el BI-RADS binario (benigno frente a sospechoso) alcanza 0,90 en Mass-Bench y 0,93 en DMID. En cambio, la clasificación multiclase del BI-RADS — distinguir con finura los grados 2, 3, 4 y 5 — sigue siendo frágil, cayendo a 0,53 de exactitud en CBIS-DDSM. Traducción clínica: separar a grandes rasgos «vigilar» de «nada alarmante» está al alcance; reproducir el juicio matizado de un radiólogo que asigna un grado preciso no lo está — y es ese juicio matizado el que desencadena o no una biopsia.

Lo que está bien

Un protocolo que hace visible un sesgo real. Medir el rendimiento por categoría de densidad en lugar de en una sola cifra agregada no es un adorno: es exactamente la disciplina que falta en la mayoría de las publicaciones del campo, y la demostración de que el rendimiento se desploma en las mamas densas es el tipo de hallazgo útil para quien lee anuncios de AUC milagrosas.

Un cuidado honesto contra la fuga de datos. La partición a nivel de paciente antes de cualquier procesamiento, y la exigencia de coherencia geométrica de las anotaciones entre bases, son precauciones a menudo descuidadas. Hacen las cifras más creíbles que la media de la literatura.

La cuantificación explícita del desequilibrio. Poner una cifra de divergencia KL sobre cuánto se aleja cada base de una distribución clínica plausible da al lector una herramienta concreta para juzgar: un modelo entrenado en VinDr-Mammo, muy lejos de la realidad, no debe creerse sin más fuera de su terreno.

Lo que está menos bien

Una cifra de titular imposible de encontrar y casillas de una imagen (modo de fallo: la métrica engañosa). El resumen anuncia un F1 «de hasta 0,976» en clasificación de densidad, pero el mejor F1 de las tablas resumen se queda en 0,951: el titular se apoya en un pico de configuración ausente del balance. Peor aún, algunas puntuaciones «casi perfectas» se basan en casillas de prueba minúsculas — un F1 de 0,999 calculado sobre una sola imagen de categoría ACR 4. Los autores lo reconocen a medias, pero el resumen solo conserva el superlativo.

Demasiado pocas mamas densas, lo que debilita la tesis (modo de fallo: el sesgo de población). El artículo quiere alertar sobre la infrarrepresentación de las mamas densas — pero sus propias bases la padecen, y las categorías ACR 4 contienen en partes un puñado de ejemplos. Demostrar una degradación con efectivos tan reducidos es medir el problema con el mismo instrumento que es su víctima: la conclusión es plausible, pero su solidez estadística sigue siendo limitada.

Un «benchmark» sin código ni pesos publicados (modo de fallo: reproducibilidad). Mass-Bench se presenta como un banco de pruebas reutilizable, pero no se publica ningún repositorio de código, ningún script de curación, ningún modelo entrenado — solo se enumeran los cuatro conjuntos de origen. Reproducir el ensamblaje exige rehacerlo todo a mano. A esto se suman la ausencia de toda declaración de financiación y el uso, reconocido por los autores, de ChatGPT (GPT-5) para «la generación de tablas» — un detalle que, dada la discrepancia entre el resumen y las tablas, no es del todo inocente.

Lo que cambia

Para la comunidad de investigación, el mensaje metodológico es correcto y reutilizable, aunque la herramienta lo sea menos: hay que dejar de publicar AUC globales y estratificar sistemáticamente por densidad — y, más ampliamente, por subpoblación. Es una exigencia de evaluación, no un nuevo modelo.

Para los clínicos, hoy nada cambia en la sala de lectura. El trabajo es retrospectivo, sobre imágenes públicas, sin validación prospectiva ni comparación con radiólogos: no dice que una herramienta esté lista, dice cómo juzgar las que le presentarán. El reflejo útil: pedir el rendimiento en las mamas densas, no la media.

Para las pacientes y el público, la lección es simple y duradera: una IA de cribado «buena de media» puede serlo mucho menos en las mamas densas, que son también aquellas donde el cáncer es más difícil de ver. La promesa de una segunda mirada automatizada sigue siendo creíble, pero su valor depende por completo de la población sobre la que realmente se midió.

Para profundizar

El artículo completo está en acceso abierto en Mathematics, 2026, 14(12), 2080 (DOI 10.3390/math14122080), bajo licencia CC BY 4.0, con curvas ROC en el material suplementario. Los cuatro conjuntos ensamblados son públicos: CBIS-DDSM (TCIA), INBREAST (a petición), VinDr-Mammo (PhysioNet) y DMID (Figshare). Para el marco de la densidad mamaria y del BI-RADS, el atlas BI-RADS del American College of Radiology sigue siendo la referencia.