Mezclar conjuntos de datos de mamografía no mejora la IA de cribado: cuando el modelo aprende la «firma» del dataset en lugar del cáncer

Un equipo de la Memorial University of Newfoundland (Canadá) puso a prueba una suposición tenida por evidente: añadir cánceres confirmados por biopsia procedentes de bases públicas a un conjunto real de cribado debería mejorar un modelo de triaje mamográfico. Al entrenar un mismo clasificador con el conjunto de cribado NLBSD (5997 exámenes, 1,29 % de casos sospechosos) y añadir después los casos positivos de CBIS-DDSM y CMMD, los autores observan lo contrario: el rendimiento cae con cada incorporación, y una prueba diagnóstica revela por qué: el modelo separa las imágenes según su dataset de origen casi a la perfección (AUC 0,9998), prueba de que aprende la «firma» del conjunto de datos en lugar de la patología.

El contexto

El cribado mamográfico busca cánceres poco frecuentes en una población sana: entre las mujeres del rango de edad cribado, la prevalencia de hallazgos verdaderamente sospechosos ronda el 1 %. Eso es lo que hace la tarea tan difícil para un modelo de aprendizaje automático: las señales a detectar son raras, sutiles y quedan sepultadas bajo una abrumadora mayoría de exámenes normales. Para entrenar una IA de triaje (separar «normal» de «sospechoso») haría falta datos que se parezcan a esa realidad. Y escasean: la mayoría de las bases públicas de mamografía —como CBIS-DDSM o CMMD— son colecciones «enriquecidas en anomalías», construidas a partir de casos ya biopsiados, donde los cánceres son numerosos y a menudo bien visibles, casi sin exámenes normales de cribado.

De ahí una idea que parece de sentido común y se repite por doquier: dado que los casos positivos son raros, ¿por qué no completar el conjunto de cribado con esos cánceres confirmados de otras fuentes? Más positivos, mejor detector. El equipo de la Memorial University of Newfoundland somete esa intuición a prueba con un recurso poco habitual: la NLBSD (Newfoundland and Labrador Breast Screening Dataset), uno de los pocos conjuntos públicos que representa una verdadera cohorte de cribado, con etiquetado «normal / sospechoso» y baja prevalencia. La pregunta, precisa: ¿añadir cánceres de CBIS-DDSM y CMMD mejora la detección en la NLBSD? Para medirlo, los autores usan el AUC (área bajo la curva ROC), una puntuación entre 0,5 y 1 que indica cuán bien el modelo separa un caso sospechoso de uno normal: 0,5 es azar, 1 es perfección.

El método

El montaje es deliberadamente simple y controlado: el objetivo no es batir un récord, sino aislar una causa. Como extractor de características, los autores toman un EfficientNet-B5 inicializado con los pesos de Mammo-CLIP (un modelo preentrenado específicamente en mamografía) y lo congelan: sus parámetros no se mueven. Solo se entrena por encima una pequeña cabeza de clasificación lineal, un montaje llamado linear probe («sonda lineal»), que comprueba lo que la representación congelada del modelo ya contiene, sin reajustarla a la tarea. Es una decisión metodológica fuerte: si aparece una señal, está inscrita en la representación general, no fabricada por un reajuste oportunista.

Entran en escena tres conjuntos de datos. La NLBSD aporta 5997 exámenes de cribado (proyecciones CC y MLO de ambas mamas), con una prevalencia de casos sospechosos del 1,29 % (149 de 5997), el reflejo de la vida real. CBIS-DDSM (1644 casos de película digitalizada) y CMMD (3712 imágenes de 1775 pacientes, en digital nativo) aportan únicamente sus casos anormales confirmados por biopsia. Punto crucial: en todos los experimentos, los casos negativos proceden exclusivamente de la NLBSD; las bases externas solo sirven para añadir positivos.

Todos los conjuntos pasan por exactamente el mismo preprocesamiento: conversión DICOM idéntica, normalización de la intensidad imagen por imagen a una misma escala, recorte de la mama, orientación común. La idea es neutralizar las diferencias «de superficie» para que cualquier brecha de rendimiento refleje una verdadera diferencia de dominio, no un artefacto de formato. Las particiones entrenamiento / validación / prueba (70/10/20) se hacen a nivel de paciente, de modo que ninguna imagen de una misma persona aparezca a la vez en entrenamiento y prueba: la precaución que evita el data leakage (fuga de datos), ese sesgo en el que el modelo «hace trampa» al reencontrar en la prueba casos ya vistos en el entrenamiento. El rendimiento se mide por el AUC a nivel de imagen, con intervalos de confianza por bootstrap y comparaciones mediante el test de DeLong, corregidas por comparaciones múltiples (Holm). Por último, un experimento diagnóstico reutiliza el mismo montaje: en vez de predecir «normal / sospechoso», se pide al modelo que adivine de qué base procede cada imagen.

Los resultados

El mejor modelo es el que no añadió nada. Entrenado y evaluado solo con la NLBSD, alcanza un AUC de 0,737 (IC 95 % 0,686–0,785). Añadir positivos externos degrada el rendimiento cada vez, y de forma creciente: 0,644 con los cánceres de CMMD (−0,093), 0,640 con los de CBIS-DDSM (−0,097) y 0,620 al combinar ambos (−0,117). La caída es monótona —cuantas más fuentes se añaden, más se pierde— y estadísticamente significativa (p corregidas de 0,015, 0,005 y < 0,001). Evaluar en conjuntos de prueba «mixtos» que incluyen positivos externos no invierte nada: 0,653, 0,651, 0,648, nunca por encima de la referencia.

La traducción clínica es el verdadero aviso. A umbral de decisión fijo, el modelo base equilibraba sensibilidad y especificidad (0,66 cada una). Los modelos enriquecidos conservan su especificidad pero ven caer su sensibilidad a 0,53–0,55; es decir, pasan por alto cerca del 45 al 47 % de los casos sospechosos, frente al 34 % de la referencia. En cribado, esa es exactamente la dirección equivocada: se quiere pasar por alto los menos cánceres posibles, aun a costa de volver a llamar a unas cuantas mujeres más. Añadir datos ingenuamente rebajó, pues, tanto la discriminación como desplazó el punto de operación hacia el lado peligroso.

¿Por qué? El experimento diagnóstico lo muestra sin ambigüedad. Cuando se le pide predecir la base de origen en lugar de la patología, el modelo separa los tres conjuntos casi a la perfección: F1 superior a 0,98 por base, AUC media de 0,9998, diagonal de confusión de 99,7 / 98,8 / 100,0 %. Pese a un preprocesamiento rigurosamente idéntico, cada dataset porta una «firma» que la red lee con los ojos cerrados. Es la definición misma del shortcut learning (aprendizaje de atajos): en vez de aprender el concepto difícil —el cáncer sutil de una población de cribado—, el modelo se aferra a una pista fácil y espuria: de dónde viene la imagen. Los autores recuerdan el precedente ya clásico de un modelo de radiografía de tórax capaz de reconocer el hospital de origen, y que generaliza mal justamente por ello.

Lo que está bien

Un protocolo que aísla una causa. Todo se mantiene constante —arquitectura, optimización, preprocesamiento— y solo varía la composición de los datos de entrenamiento. La partición a nivel de paciente descarta limpiamente el data leakage, y la elección de un codificador congelado refuerza la conclusión: la separabilidad casi perfecta de las bases no la fabrica un reajuste específico de la tarea, ya está presente en una representación mamográfica general. Se puede así afirmar una causa —el dominio de los datos añadidos— allí donde una simple comparación de modelos quedaría ambigua.

Un anclaje clínico honesto. Los autores parten de una verdadera cohorte de cribado (NLBSD) y no de una base enriquecida más cómoda, y sitúan su trabajo con lealtad: sin preentrenamiento mamográfico, un trabajo anterior se estancaba en un AUC de 0,6209 en la NLBSD (frente a 0,905 en la pequeña base curada INbreast); partiendo de Mammo-CLIP, obtienen una base más sólida (0,737), que toman como punto de partida. El comparador es, pues, explícito y fechado, no un hombre de paja.

Convertir el fracaso en demostración. En vez de constatar el bajo rendimiento y detenerse ahí, los autores construyen la prueba «adivina la base» que señala el mecanismo. Es buena higiene: nombrar el modo de fallo (shortcut learning), medirlo y vincularlo a un fenómeno documentado en otras áreas de la imagen médica.

Lo que está menos bien

Un solo modelo, una sola manera de entrenarlo. Todo descansa en un EfficientNet-B5 + Mammo-CLIP congelado, con una sonda lineal y una simple entropía cruzada. Los autores lo reconocen: un reajuste completo del codificador, modelos multivista u objetivos pensados para el desequilibrio de clases podrían comportarse de otro modo. Y el rendimiento absoluto sigue siendo modesto: un AUC de 0,737 no es una herramienta desplegable, sino un banco de pruebas. El resultado atañe a «este montaje», no a toda IA mamográfica.

Cifras a manejar con cautela. Los propios autores señalan que la prueba a nivel de imagen trata como independientes las cuatro proyecciones correlacionadas de un mismo examen, lo que vuelve las p-values «algo optimistas»: la clásica métrica engañosa, aquí honestamente desactivada, pero que invita a no sobreinterpretar los umbrales de significación (el orden monótono de los resultados, en cambio, no depende de esa hipótesis). En cuanto al AUC de 0,9998 de la prueba de origen, mide una separabilidad de datasets, no un desenlace clínico: espectacular, pero no debe leerse como rendimiento diagnóstico.

Una generalización aún por establecer. La NLBSD, por valiosa que sea, refleja una sola población, un solo parque de equipos, un solo protocolo regional (Terranova y Labrador). Nada dice todavía que la misma degradación se observaría en otras verdaderas cohortes de cribado, ni cómo se reparte por subgrupos (edad, densidad mamaria, equipo): ese sesgo de población no está cartografiado. No hay validación prospectiva, y se trata de un preprint aún no revisado por pares, enviado a una revista pero no publicado.

Lo que cambia

Para la comunidad de investigación, el mensaje es nítido: amontonar bases heterogéneas no es gratis, a menudo es contraproducente. La cantidad de datos no compensa su desalineación de dominio; hacen falta estrategias explícitas —armonización de intensidades, adaptación de dominio, modelos condicionados al centro, aumento de datos que simule las variaciones de adquisición— antes de esperar que un cáncer de otra fuente ayude de verdad. De paso, el estudio explica por qué las numerosas bases de mamografía siguen siendo islas: a falta de un método para cruzar las fronteras de adquisición, no forman un recurso único.

Para los clínicos y los decisores, es un antídoto contra un argumento de venta habitual. Que un proveedor anuncie un modelo «entrenado con decenas de miles de mamografías de múltiples bases» no garantiza nada: si esas bases no se parecen a la población cribada, la adición puede degradar la sensibilidad justo donde importa. La buena pregunta no es «¿cuántos casos?», sino «¿se parecen esos casos a mis pacientes, en mis máquinas?». Una herramienta de cribado debe validarse en una distribución de cribado.

Para las pacientes y el público, el estudio desmonta la idea de que «más datos» equivale a «IA más segura». Un modelo puede aparentar que aprende el cáncer cuando en realidad aprende a reconocer el equipo o la procedencia de la imagen: un atajo invisible que se derrumba en condiciones reales. La seguridad de una IA de cribado no se deduce del tamaño de su entrenamiento: se demuestra en la población realmente afectada.

Para saber más

El preprint «Dataset-Origin Signatures and Shortcut Learning in Screening Mammography AI: A Cross-Dataset Case Study» está disponible en arXiv (2607.15416), depositado el 16 de julio de 2026 por Parham Hajishafiezahramini, Matthew Hamilton, Oscar Meruvia-Pastor y Edward Kendall (Memorial University of Newfoundland, Canadá) y enviado a Computerized Medical Imaging and Graphics; el trabajo fue financiado por el Seed, Bridge, and Multidisciplinary Fund de la universidad, sin conflictos de interés declarados. Los datos son públicos (NLBSD a través del Federated Research Data Repository; CBIS-DDSM y CMMD a través de The Cancer Imaging Archive). Sobre la IA en mamografía y los puntos ciegos de la generalización, véanse nuestros descifrados sobre la evaluación de la detección de masas según la densidad mamaria, sobre los sesgos ocultos por subgrupos en la imagen médica, y sobre la robustez y la generalización de los foundation models.

Transparencia editorial: versión francesa redactada y firmada por la redacción de Tatakoto a partir de la lectura del preprint. Traducciones al inglés, español y chino producidas con asistencia de IA y revisadas.