Robustez de los foundation models en patología: lo que un banco de pruebas de «perturbaciones más cambio de distribución» revela de su fragilidad

Tres investigadores de la Universidad de Warwick someten a doce foundation models de patología digital, y a dos redes convolucionales de referencia, a once perturbaciones de imagen realistas y a un protocolo de validación diseñado para romper el parecido entre los datos de entrenamiento y de prueba. Los grandes modelos resisten mejor que las redes antiguas, pero su robustez se estanca mucho antes de los mil millones de parámetros, y todos pierden precisión en cuanto se enfrentan a distribuciones realmente distintas. Un recordatorio útil: la fiabilidad clínica dependerá de la calidad y la diversidad de los datos de entrenamiento, no del tamaño del modelo.

El contexto

La patología digital —el análisis de láminas de tejido escaneadas a alta resolución— se ha convertido en uno de los terrenos más activos de la IA médica. Desde hace dos años, una nueva generación de herramientas la domina: los foundation models, redes muy grandes preentrenadas mediante aprendizaje autosupervisado (el modelo aprende a representar millones de imágenes de tejido sin etiquetas, planteándose a sí mismo tareas de predicción) sobre corpus masivos, y luego reutilizables en multitud de tareas diagnósticas. GigaPath, UNI, Virchow, Phikon: estos modelos han elevado las puntuaciones en casi todos los benchmarks de clasificación, segmentación y pronóstico.

Pero una puntuación alta en un conjunto de prueba limpio no dice nada sobre la fiabilidad en condiciones reales. En patología, dos láminas del mismo cáncer pueden diferir en la tinción, el escáner, el protocolo del laboratorio, la población de pacientes. Un modelo sólido debe resistir esas variaciones —la cuestión de la robustez— y mantener su rendimiento cuando los datos de despliegue difieren de los de entrenamiento —la generalización fuera de distribución. Este preprint, del equipo del Tissue Image Analytics Centre de la Universidad de Warwick, plantea tres preguntas frontales: ¿resisten estos modelos alteraciones de imagen clínicamente plausibles?, ¿aguantan ante distribuciones diferentes?, y ¿la carrera por el tamaño sigue mejorando algo o ha alcanzado su meseta?

El método

Los autores evalúan doce foundation models de patología, desde el codificador transformer de tamaño medio (Hibou, Phikon-v1/v2, EXAONEPath, UNI, entre 80 y 300 millones de parámetros) hasta el modelo de más de mil millones de parámetros (GigaPath, H-Optimus-0/1), pasando por la gama intermedia (Virchow, Virchow2, UNI2, 600 a 700 millones). Dos redes convolucionales clásicas (ResNet18 y ResNet50) sirven de comparación «de la vieja generación». Todos los codificadores están congelados: no se reentrena el modelo, solo se le añade una única capa lineal de clasificación que se entrena para cada tarea (la técnica llamada linear probing, que evalúa la calidad de las representaciones aprendidas sin modificarlas).

Cuatro conjuntos de datos públicos sirven de terreno, todos recortados en pequeñas teselas de imagen: NCT (tejido colorrectal, reducido a una tarea binaria tumor / no-tumor), PANDA (biopsias de próstata puntuadas con el score de Gleason, reducidas a cáncer / benigno), PanNuke (detección de núcleos tumorales) y PatchCamelyon (unas 330 000 teselas de ganglios linfáticos, presencia o ausencia de metástasis). El rendimiento de base se mide en ROC-AUC (área bajo la curva ROC: capacidad de ordenar correctamente un caso positivo por encima de uno negativo, 0,5 = azar, 1,0 = perfecto).

Dos dispositivos originales estructuran la evaluación. Primero, una batería de once perturbaciones realistas, producidas por una herramienta propia (REET), en tres familias: a nivel de píxel (ruido, brillo, compresión JPEG), a nivel de tinción (variación de tono, mezcla en el espacio de color de la histología) y a nivel geométrico (desenfoque, rotación, recorte, zoom). Los autores resumen la resistencia de cada modelo con un índice, el PPI (Perturbation Performance Index), que integra el AUC a medida que aumenta la intensidad de la perturbación: PPI de 1 = robustez perfecta, valores más bajos = degradación. Después, un protocolo de validación no redundante (NR-Kfold): en lugar de repartir las teselas al azar entre entrenamiento y prueba, se agrupan las imágenes que se parecen en el espacio de las representaciones y luego se asignan grupos enteros a pliegues separados. Se fuerza así una disimilitud entre entrenamiento y prueba, lo que simula el paso de un hospital, un escáner o una población a otro.

Los resultados

En las perturbaciones, la jerarquía es clara. Las alteraciones a nivel de píxel —ruido, brillo, compresión JPEG— son las más desestabilizadoras, con PPI de aproximadamente 0,4 a 0,6. Las variaciones de tinción causan un daño moderado (PPI de aproximadamente 0,6 a 0,75). Las transformaciones geométricas (desenfoque, rotación, recorte, zoom) son las mejor toleradas (PPI de aproximadamente 0,8 a 1,0), señal de que estos modelos han aprendido bien la invariancia espacial. Entre los modelos, EXAONEPath, Virchow2, UNI2 y Phikon-v2 encabezan sistemáticamente; los foundation models más pequeños o más antiguos (Hibou, Phikon-v1) y las ResNet quedan rezagados, sobre todo bajo estrés de píxel o de tinción.

El resultado central atañe al tamaño. Pese a tres órdenes de magnitud de diferencia entre el modelo más pequeño y el más grande, la correlación entre número de parámetros y robustez sigue siendo débil (coeficiente de 0,15 a 0,55 según el conjunto de datos). La mejora es real del modelo pequeño al de tamaño medio, y luego se satura claramente más allá de 300 a 600 millones de parámetros: los modelos de más de mil millones de parámetros (H-Optimus, GigaPath) no aportan ninguna ganancia adicional, y a veces decaen. Dicho de otro modo, lo que cuenta es la diversidad y la calidad del preentrenamiento, no la desmesura.

La prueba de generalización, por su parte, expone una fragilidad oculta. En cuanto se rompe el parecido entre entrenamiento y prueba con el protocolo NR-Kfold, todos los modelos pierden precisión: la caída de AUC va de −0,02 en NCT a −0,23 en PanNuke, esta última cifra delatando que el reparto habitual de ese conjunto compartía pacientes y láminas entre entrenamiento y prueba —un caso de manual de fuga de datos. Los grandes y medianos foundation models (Virchow2, UNI2, H-Optimus) lo encajan mejor, con una pérdida media de unos −0,07 de AUC y una baja variabilidad entre pliegues (desviación típica de 0,09 a 0,12). Los transformers más antiguos y las ResNet caen más (hasta −0,36 de AUC) y se vuelven inestables (desviación típica superior a 0,15). También aquí el tamaño apenas ayuda: la correlación global entre parámetros y AUC fuera de distribución es débil y no significativa (coeficiente de 0,22, p = 0,096), y la tendencia suavizada incluso decae ligeramente más allá de 600 millones de parámetros.

Lo que está bien

Un banco de pruebas sistemático y abierto. Es, hasta donde saben los autores, la primera evaluación que combina, sobre los mismos modelos, un análisis de robustez a las perturbaciones y un análisis de generalización fuera de distribución. Catorce modelos, cuatro conjuntos de datos, once perturbaciones, dos protocolos y una caja de herramientas publicada (el repositorio pfm-robustness-toolkit): el trabajo es reproducible y directamente reutilizable por otros equipos, algo que falta cruelmente en una literatura donde cada cual reporta sus propias cifras sobre su propio reparto.

Un protocolo que destapa la fuga de datos. La validación no redundante no es un adorno: al forzar la disimilitud entre entrenamiento y prueba, revela que los repartos aleatorios habituales sobrestiman el rendimiento. El −0,23 de AUC en PanNuke es precisamente el tipo de caída que permanece invisible en una evaluación estándar, y hacerlo aparecer es un servicio al campo —un medio barato de detectar, antes de cualquier despliegue, el optimismo de un modelo sobre sus propios datos.

Un mensaje razonado contra la desmesura. Frente al reflejo «más grande = mejor» que domina el campo de los foundation models, los autores muestran, con cifras en mano, que la robustez se satura en torno a unos pocos cientos de millones de parámetros. Es una conclusión útil y contraintuitiva, que reorienta el esfuerzo hacia la diversidad de los datos de preentrenamiento en lugar de la carrera por el tamaño —y por tanto hacia una IA más sobria en cómputo.

Lo que está menos bien

Una evaluación que se mantiene a distancia de la clínica. Todo se juega sobre teselas aisladas, con codificadores congelados y una simple capa lineal encima. Ahora bien, un diagnóstico anatomopatológico se hace sobre una lámina entera, a menudo tras un ajuste fino del modelo. El banco de pruebas mide, pues, la calidad de las representaciones, no el rendimiento de un sistema realmente desplegado. Sobre todo, el NR-Kfold es un proxy sintético del cambio de distribución: agrupar imágenes que se parecen en el espacio de las representaciones no equivale a probar sobre un segundo hospital real, con su escáner y su población. El sesgo de población, el principal modo de fallo en IA-salud, aquí solo se prueba en probeta.

Tareas binarias que inflan las cifras. Reducir los nueve tejidos de NCT a «tumor / no-tumor», o el score de Gleason de PANDA a «cáncer / benigno», tira por la borda la granularidad clínica más útil —es la distinción entre grados la que orienta el tratamiento de un cáncer de próstata, no la mera presencia de un tumor. Estas tareas simplificadas son más fáciles y producen AUC halagüeñas: se roza la métrica engañosa. El submuestreo agresivo (10 % de los datos de entrenamiento, 2,5 a 10 % de la prueba en NCT) reduce además la potencia estadística de las comparaciones.

Ninguna traducción clínica de las diferencias medidas. El artículo se detiene en las métricas de machine learning —ROC-AUC, PPI, caída de AUC— sin decir nunca qué significa una pérdida de 0,07 a 0,23 de AUC en teselas mal clasificadas, en falsos negativos sobre una metástasis, en láminas por releer. Falta una sensibilidad y una especificidad a un umbral de funcionamiento, las únicas elocuentes para un clínico. Por último, si bien el shortcut learning —el modelo que se aferra a un artefacto de tinción o de escáner en lugar del tumor— es la causa implícita de esas caídas, ningún mapa de atribución muestra en qué se fijan realmente los modelos.

Lo que cambia

Para la comunidad de investigación, el aporte es metodológico e inmediato: la evaluación de robustez y la prueba de disimilitud deberían convertirse en un paso obligado antes de toda publicación de foundation model, al mismo nivel que el AUC. El NR-Kfold ofrece una sonda barata para detectar fuga de datos y sobreoptimismo. Y la demostración de la meseta de tamaño es una señal fuerte para reasignar el cómputo: apuntar a la diversidad de las fuentes, la multimodalidad y el alineamiento de dominio en lugar del mero inflado del modelo.

Para los clínicos y los laboratorios, nada desplegable aquí, pero una advertencia concreta. Un foundation model validado sobre las láminas de un centro puede perder una parte significativa de su rendimiento sobre el escáner y la tinción de otro —y esa pérdida permanece invisible mientras no se pruebe explícitamente el cambio de distribución. La lección práctica: exigir una validación multicéntrica, sobre las propias láminas, antes de conceder la más mínima confianza a una cifra publicada.

Para los pacientes y el público general, el mensaje es el mismo que para cualquier herramienta de IA en salud: una puntuación impresionante obtenida en laboratorio no garantiza la fiabilidad sobre las láminas de su hospital. La buena noticia es que el propio campo se dota de herramientas para medir su propia fragilidad —lo que es la condición de una patología digital digna de confianza.

Para ir más lejos

El preprint está disponible en arXiv (2607.04401), depositado el 5 de julio de 2026 por Dhyey Yajnik, Amina Asif y Fayyaz Minhas (Tissue Image Analytics Centre, Universidad de Warwick, Reino Unido); aún no ha sido revisado por pares. La caja de herramientas está publicada en GitHub (DhLYa/pfm-robustness-toolkit). Sobre los foundation models en patología y sus límites, véanse nuestros análisis sobre GigaPath, uno de los modelos evaluados aquí, sobre la destilación de expertos para un foundation model de patología, y sobre la evaluación por probing de foundation models multimodales en oncología.

Transparencia editorial: versión francesa redactada y firmada por la redacción de Tatakoto a partir de la lectura del preprint. Traducciones al inglés, español y chino producidas con asistencia de IA y revisadas.