Foundation models en oncología multimodal: lo que revela una auditoría de la patología y el transcriptoma

Un equipo del Alan Turing Institute, del Institute of Cancer Research y de Genentech sometió a prueba cinco foundation models sobre dos modalidades — láminas de patología digitalizadas y transcriptoma — en más de 7600 pacientes con cáncer de mama o de pulmón. El veredicto incomoda: en los datos ómicos, un análisis de componentes principales centenario supera al foundation model diseñado para ello, y fusionar ambas modalidades solo ayuda cuando ninguna domina ya la señal. No es un avance sino una auditoría honesta de lo que estos modelos codifican realmente — y de cuán fiables son de verdad.

El contexto

Desde hace dos años la patología digital vive la era de los foundation models: grandes redes preentrenadas, sin etiquetas, sobre millones de láminas histológicas, que convierten una imagen en un vector de números — un embedding — destinado a condensar la información útil. Luego se conecta un pequeño clasificador a esos vectores para predecir un subtipo tumoral, un biomarcador, un pronóstico. Los nombres se han multiplicado — UNI, CONCH, Virchow, MUSK — cada uno con sus cifras de rendimiento, a menudo deslumbrantes. La misma ola alcanza la transcriptómica (la medición de la actividad de los genes, u «ómica»), con modelos como UCE (Universal Cell Embeddings) que pretenden hacer por el ARN lo que los otros hacen por la imagen.

Tres preguntas siguen mal resueltas, sin embargo. ¿Resisten estas representaciones en datos fuera de distribución (OOD) — es decir, distintos de los vistos en el entrenamiento y, sobre todo, distintos del conjunto público TCGA con el que casi todos se evalúan? ¿Fusionar imagen y ómica aporta realmente algo? ¿Y se puede confiar en las predicciones? Son estas tres preguntas — sondeo, fusión, confianza — las que aborda este trabajo.

El método

Los autores trabajan por sondeo (probing): los foundation models se congelan, no se reentrenan; solo se aprende una cabeza ligera sobre sus embeddings fijos. Es la forma honesta de medir lo que las representaciones ya contienen. Para la imagen, cada caso se convierte en una bolsa de teselas codificadas agregadas por una cabeza de atención (un multiple instance learning, o MIL, método que aprende a ponderar los fragmentos de una lámina sin anotación a nivel de píxel); para la ómica, un perceptrón multicapa sobre el vector de genes.

Los datos no provienen de TCGA sino de una base comercial, la Flatiron Health–Caris CMDB, es decir dos cohortes estadounidenses: 3747 pacientes con cáncer de mama y 3887 pacientes con cáncer de pulmón no microcítico (CPNM), cada una con láminas H&E y transcriptoma. Se evalúan ocho tareas de clasificación: sitio de biopsia, subtipo (cuatro clases para la mama), los biomarcadores PR y PIK3CA, pérdida de heterocigosidad (LOH), sitio tumoral y carga mutacional (TMB) para el pulmón. Las clases demasiado raras (menos del 8 %) se descartan.

Se comparan tres estrategias de fusión imagen-ómica: CONTACT (simple concatenación de los vectores, llamada fusión temprana), MCAT (fusión intermedia por coatención entre modalidades) y LateMIL (fusión tardía, a nivel de decisión). Por último, la confianza se mide mediante predicción conforme (conformal prediction): en lugar de una sola etiqueta, el modelo devuelve un conjunto de etiquetas calibrado para contener la respuesta correcta con una probabilidad garantizada — aquí el 90 %. Un conjunto pequeño y que cubre bien es fiable; un conjunto que debe enumerar la mitad de las clases para mantener su garantía confiesa su incertidumbre.

Los resultados

En el lado de la imagen, los foundation models brillan en las tareas morfológicamente evidentes: distinguir una biopsia metastásica de mama de una primaria da un AUC superior a 0,90 (Virchow 0,94, UNI 0,93). El AUC — área bajo la curva ROC — vale 1,0 para una clasificación perfecta y 0,5 para el azar. Pero en el mismo tipo de tarea en el pulmón, el AUC se desploma a 0,63–0,65, y en los biomarcadores (PR, PIK3CA) se estanca en torno a 0,79–0,82 en el mejor caso: útil, lejos de una prueba autónoma.

La verdadera sorpresa viene de la ómica. El foundation model dedicado, UCE, es superado tanto por scVI como por un simple análisis de componentes principales (ACP), técnica de reducción de dimensión que data de 1901. En el subtipo de mama, el ACP alcanza un AUC de 0,8955, por delante de todos los modelos de imagen y muy por delante de UCE (0,76). El ACP firma además los mejores AUC en cinco tareas de mama. Los autores lo dicen sin rodeos: «construir foundation models transcriptómicos eficaces sigue siendo un problema abierto».

La fusión no salva la situación de forma sistemática. LateMIL es la más regular, pero lo multimodal supera al mejor unimodal solo en algunas tareas — y a veces rinde menos, como en la carga mutacional del pulmón, donde la ómica sola (ACP) gana. Los autores concluyen que la fusión ayuda «sobre todo cuando ninguna modalidad domina ya la señal».

En cuanto a la confianza, los conjuntos conformes mantienen su garantía de cobertura (0,90 a 0,93 según la tarea), pero a costa de un tamaño medio de unas dos clases. Traducción clínica: en el subtipo de mama, una tarea de cuatro clases, el modelo devuelve en promedio dos candidatos en lugar de uno — se niega honestamente a decidir la mitad de las veces. La cobertura de 0,90 significa que, de cada 100 pacientes, la etiqueta verdadera falta para unas 10. Y la «tasa de rescate» del 72,6 % indica que, cuando la primera opción del modelo es errónea, la respuesta correcta sigue estando en el conjunto propuesto en casi tres de cada cuatro casos.

Lo que está bien

Un comparador fuerte, y no un hombre de paja. Incluir el ACP y scVI frente a los foundation models es exactamente el rigor que le falta al campo: es ese comparador honesto el que revela que el modelo ómico dedicado no aporta nada, e incluso degrada. Demasiados estudios se comparan con un adversario débil para inflar la diferencia; aquí es lo contrario.

Una evaluación realmente fuera de distribución. Al salir de TCGA hacia una base comercial estadounidense nunca vista en el preentrenamiento, el estudio prueba la transferencia en lugar de la memoria. El riesgo de fuga de información (data leakage) — mismos pacientes o mismas imágenes en entrenamiento y prueba, plaga clásica del campo — queda descartado por construcción, ya que los modelos están congelados y la cohorte es independiente.

La confianza tratada como una métrica, no como un eslogan. La predicción conforme ofrece una garantía de cobertura sin hipótesis sobre la distribución, y predicciones en forma de conjuntos — un formato clínicamente significativo, que dice «aquí están los dos subtipos plausibles» en lugar de una certeza engañosa. Es una de las raras evaluaciones que mide la incertidumbre tan en serio como el rendimiento.

Lo que está menos bien

Un sesgo de población no cuantificado. Ambas cohortes provienen de una única fuente comercial estadounidense (Flatiron–Caris) y de solo dos cánceres. Los autores reconocen «disparidades por subgrupos» pero no publican ninguna tabla por subgrupo (edad, ascendencia, centro). Sin esas cifras es imposible saber si la fiabilidad se mantiene para las poblaciones infrarrepresentadas — es el sesgo de población dejado en el punto ciego.

Métricas que pueden halagar. La exactitud se informa junto al AUC, pero tras descartar las clases de menos del 8 %: en tareas desequilibradas, eliminar las clases raras infla mecánicamente el rendimiento aparente. Y el AUC elevado en el sitio de biopsia huele a shortcut learning — el modelo probablemente explota una firma morfológica gruesa (tejido metastásico frente a primario) en lugar de una biología fina, lo que confirma la enorme brecha con los biomarcadores, mucho más difíciles.

Reproducibilidad e independencia limitadas. No se publican ni el código ni los pesos; los datos son comerciales y cerrados (acceso bajo licencia Flatiron/Caris). Los embeddings de imagen se generaron internamente, del lado industrial. Sobre todo, un autor está afiliado a Genentech (grupo Roche) sin ninguna declaración formal de conflicto de intereses en el texto recuperado — una laguna en un tema donde la industria tiene un interés directo.

Lo que cambia

Para la comunidad de investigación, este artículo es un útil llamado al orden. Documenta negro sobre blanco que los foundation models transcriptómicos actuales aún no han superado un ACP, que la fusión multimodal no es una receta universal y que la predicción conforme debería convertirse en un estándar de evaluación. El cuello de botella no es apilar modalidades sino alinear representaciones que de verdad se complementen.

Para los clínicos, nada es desplegable hoy: ninguna tarea alcanza el rendimiento de una herramienta autónoma, y todo se apoya en datos retrospectivos de una sola fuente. El mensaje aprovechable es más sutil: un modelo que responde honestamente «dos subtipos plausibles» mediante un conjunto conforme es más seguro en la práctica que uno que decide con un aplomo injustificado.

Para los pacientes y el público, la IA en oncología no es un único modelo mágico. Para leer el transcriptoma de un tumor, la estadística clásica sigue siendo competitiva; para leer una lámina, los grandes modelos ayudan sobre todo en las preguntas fáciles. La fiabilidad, aquí, se mide por la capacidad del modelo de reconocer cuándo no sabe — una cualidad más tranquilizadora que un AUC espectacular.

Para saber más

El preprint: Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis (arXiv:2606.17115, DOI 10.48550/arXiv.2606.17115). Los foundation models de patología evaluados — UNI, CONCH, Virchow, MUSK — y el modelo ómico UCE (Universal Cell Embeddings). Para el contexto sobre los modelos de fundación en patología, véase nuestro descifrado de GigaPath. Sobre el método estadístico de garantía, véase la introducción de referencia a la predicción conforme (Angelopoulos y Bates).

Transparencia editorial: este Descifrado se redacta en francés y luego se traduce al inglés, español y chino con asistencia de IA, y se revisa. Cada cifra se verifica contra el preprint original. Tatakoto no tiene vínculos con los autores ni sus instituciones.