ALICE: un único modelo de fundación en patología destilado a partir de ocho expertos — mejor rango medio en 96 tareas, pero sin validación prospectiva

Un equipo de Tsinghua Shenzhen, Oxford y la Universidad Sun Yat-sen fusiona ocho modelos de fundación de patología digital en una sola red mediante una «destilación aglomerativa» en tres etapas llamada ALICE. En 96 tareas repartidas en 48 fuentes de datos, ALICE obtiene el mejor rango medio frente a modelos especializados, superando al segundo por 1,79, 6,39 y 3,04 puntos según el tipo de tarea. Pero la evaluación es enteramente retrospectiva, los comparadores son los propios modelos-profesores de ALICE, y no se informa de ningún control de fuga de datos aunque preentrenamiento y prueba comparten la base TCGA.

El contexto

La patología digital — el análisis de láminas de tejido escaneadas a muy alta resolución — se ha vuelto uno de los terrenos más activos de la IA médica. En los últimos dos años, los modelos de fundación (grandes redes preentrenadas en enormes corpus de imágenes y luego reutilizables para muchas tareas) se han multiplicado: UNI, Virchow, H-optimus, GigaPath, CONCH, TITAN y otros. El problema es que no son intercambiables. Cada uno se entrenó con un objetivo, unos datos y una escala distintos. Algunos destacan al describir una pequeña tesela de tejido, otros al ligar una imagen a un texto, otros al razonar sobre la lámina entera (la whole-slide image o WSI, que puede tener varios gigapíxeles). La experiencia queda así «fragmentada» entre varias redes: para cubrir todas las tareas, un laboratorio debe alojar y ejecutar varios modelos pesados en paralelo.

ALICE — por Agglomerative Learning via Integrated Computational pathology Embedding — propone otra vía, tomada de la visión por computador generalista (el método RADIO): en lugar de entrenar un modelo más con aún más datos, se destilan varios modelos existentes en uno solo. El artículo plantea dos preguntas: ¿pueden consolidarse las competencias complementarias de ocho modelos en una sola red, y esa red única iguala — o incluso supera — a cada uno de sus profesores en su propio terreno?

El método

La destilación de conocimiento consiste en entrenar una red «alumno» para reproducir las representaciones internas de una o varias redes «profesor» congeladas, sin acceso a sus datos originales. ALICE lleva la idea a ocho profesores, en tres familias. Tres modelos de solo visión (UNI-2, 681 millones de parámetros; Virchow-2, 632 millones; H-optimus-1, 1,1 mil millones) que codifican teselas de tejido. Tres modelos de visión-lenguaje (CONCH, MUSK, KEEP) que alinean imagen y texto. Dos modelos de nivel lámina (TITAN, CARE) que agregan miles de teselas en una representación de la lámina entera.

El alumno es un transformer visual de tipo ViT-H/14 (el transformer es la arquitectura que domina la IA desde 2017; «H/14» designa su tamaño y la finura de su teselado) con tres módulos activados en secuencia. El entrenamiento se hace en tres etapas que corresponden a las tres familias de profesores. En cada etapa, el alumno aprende a imitar las salidas de los profesores pertinentes mediante dos pérdidas principales: una pérdida de destilación angular, que acerca las direcciones de los vectores del alumno y del profesor, y una pérdida de destilación por tesela, que alinea las representaciones espaciales locales. El módulo de visión se entrena primero y luego se congela; el módulo multimodal se injerta encima; el módulo de nivel lámina trabaja finalmente sobre características precalculadas, sin volver a los píxeles brutos. Cabe señalar que el artículo nunca da el número total de parámetros de ALICE.

El preentrenamiento solo usa datos públicos. Para las teselas, TCGA-12K: 24 985 184 imágenes de 224×224 píxeles extraídas de unas 12 000 láminas del Cancer Genome Atlas (TCGA), la gran base pública estadounidense, que cubre 32 tipos de cáncer. Para la alta resolución, 155 604 regiones de 8192×8192 píxeles, 25 495 de TCGA y 130 109 de la colección pública HISTAI. Ninguna cohorte privada entra en el preentrenamiento. La evaluación abarca 21 escenarios (7 por familia), 96 tareas posteriores y 48 fuentes de datos: clasificación y segmentación de regiones, preguntas-respuestas visuales, recuperación de imágenes y, a nivel de lámina, subtipificación tumoral, predicción de biomarcadores y análisis de supervivencia. Los modelos se comparan con conjuntos y particiones idénticos, cada vez frente a los modelos «emparejados con la tarea» — es decir, en la práctica, los propios profesores de ALICE.

Los resultados

El resultado principal se expresa como rango medio: en cada tarea se ordenan los modelos y luego se promedia la posición de ALICE. En los tres ajustes, ALICE obtiene el mejor rango medio entre los modelos emparejados, superando al segundo por 1,79 puntos (solo visión), 6,39 puntos (multimodal) y 3,04 puntos (nivel lámina). Frente a la media de todos los demás modelos, la diferencia sube a 3,10, 7,41 y 4,00 puntos. En clasificación débilmente supervisada de láminas enteras en 19 tareas clínicas, ALICE es primero en 17 y significativamente mejor que el segundo en 12. En aprendizaje few-shot (a partir de muy pocos ejemplos) en 12 tareas de región, su rango medio es de 1,08.

Estas cifras son sólidas pero exigen una lectura prudente, y el propio artículo ofrece con qué matizarlas. El rango oculta la amplitud de las diferencias: estar clasificado 1,25 de media en lugar de 1,5 puede recubrir diferencias absolutas mínimas. Y donde se da una métrica absoluta, ALICE no siempre va delante: en segmentación de instancias de región obtiene 0,599 de AP@50 (una medida de calidad de detección) frente a 0,607 de UNI-2 — es decir, un ligero retroceso frente a uno de sus propios profesores.

La traducción clínica, en cambio, sigue siendo teórica, y los autores no pretenden lo contrario. Las tareas «clínicas» — predicción del estado de los receptores hormonales ER/PR en el cáncer de mama, de mutaciones (PBRM1, BAP1, SETD2) en el cáncer de riñón, análisis de supervivencia medido por el índice de concordancia o C-index (probabilidad de que el modelo ordene correctamente a dos pacientes según su pronóstico) — son todas retrospectivas, realizadas sobre cohortes archivadas. Ninguna corresponde a un uso prospectivo junto al paciente. Un rango medio récord no es, por tanto, una prueba diagnóstica validada.

Lo que está bien

Una idea de ingeniería elegante y útil. Consolidar ocho modelos pesados en una sola red responde a un problema real de campo: en lugar de alojar y mantener varios modelos de fundación en paralelo, un laboratorio podría ejecutar solo uno. El método, importado de la visión generalista, es transferible a otros dominios fragmentados, y el hecho de que un único alumno le plante cara a sus ocho profesores en sus propias tareas es un resultado nada trivial.

Una evaluación amplia y honesta con sus puntos ciegos. 96 tareas, 48 fuentes, seis familias de métricas: la amplitud del banco de pruebas supera a la de la mayoría de los artículos del área. Sobre todo, los autores también informan de los casos en que ALICE pierde (la segmentación de instancias por debajo de UNI-2), en vez de mostrar solo las victorias. Esa transparencia sobre las derrotas es una marca de seriedad.

Una apertura concreta. El código y los pesos del modelo se anuncian como públicos (repositorio GitHub WonderLandxD/ALICE), y la totalidad de los datos de preentrenamiento procede de fuentes públicas depositadas en Hugging Face (TCGA-12K, TCGA-UT-8K, HISTAI). Esto hace el trabajo reproducible y reutilizable, a diferencia de los modelos entrenados con láminas hospitalarias inaccesibles.

Lo que está menos bien

Una posible fuga de datos, nunca controlada. Es el límite más serio. ALICE se preentrena en TCGA, y varios conjuntos de prueba derivan de TCGA o le son próximos; sus ocho profesores vieron también inmensas colecciones de láminas potencialmente solapadas. Sin embargo, el artículo no informa de ningún análisis de solapamiento entre láminas de preentrenamiento y de evaluación. Esta fuga de datos — cuando datos de prueba han servido, directa o indirectamente, para el entrenamiento — infla mecánicamente las puntuaciones. Sin una deduplicación documentada, las cifras de referencia deben leerse como cotas superiores.

Un comparador juez y parte, y una métrica que favorece. ALICE agrega el conocimiento de ocho modelos y luego se compara… con esos mismos ocho modelos tomados uno a uno. Vencer por construcción a profesores cuyos saberes se han fusionado no es lo mismo que vencer a un modelo independiente y más reciente. Se añade una asimetría en zero-shot (clasificación sin reentrenamiento): ALICE promedia las probabilidades de sus tres cabezas alineadas con CONCH, MUSK y KEEP, lo que le da una ventaja de conjunto que los comparadores de modelo único no tienen. Por último, elegir el rango medio como escaparate — una métrica engañosa aquí — disimula diferencias absolutas a veces mínimas.

Una validación escasa y una base de datos estrecha. Los autores lo reconocen sin rodeos: ALICE «fue evaluado principalmente en condiciones retrospectivas» y siguen siendo necesarios estudios «prospectivos y multiinstitucionales» ante las variaciones reales de tinción, escáner y población. El preentrenamiento se apoya en TCGA — centros académicos sobre todo estadounidenses — de ahí un posible sesgo de población en las cohortes no representadas, e ignora tanto la inmunohistoquímica como la genómica. Por naturaleza, una destilación hereda además los puntos ciegos de sus profesores: si todos comparten un mismo shortcut learning (aprender un artefacto de preparación en lugar de la biología), el alumno lo hereda sin corregirlo.

Lo que cambia

Para la comunidad investigadora, ALICE instala la destilación-consolidación como una estrategia creíble frente a la carrera por el tamaño: en lugar de entrenar siempre más grande, se puede fusionar lo existente. Ello plantea también una pregunta abierta — la de los rendimientos decrecientes y la dependencia de la calidad de los profesores: un alumno no puede, en principio, superar de forma duradera lo que sus maestros ya saben. El trabajo aporta un modelo unificado reutilizable, siempre que los pesos se publiquen realmente bajo una licencia explotable, cosa que el artículo no precisa.

Para los clínicos, hoy no cambia nada. Se trata de un modelo de investigación evaluado sobre láminas archivadas, sin estudio prospectivo ni marcado regulatorio. Una red así sigue siendo un cimiento genérico, que hay que adaptar y luego validar con los datos del centro de destino antes de cualquier uso.

Para los pacientes y el público general, conviene prudencia con las palabras. «Mejor rango medio en 96 tareas» suena a consagración, pero designa un rendimiento de laboratorio sobre datos pasados, no una capacidad diagnóstica probada. La brecha entre la puntuación de referencia y la utilidad junto al paciente — el meollo de la IA en salud — sigue abierta de par en par.

Para saber más

El preprint está disponible en arXiv (10.48550/arXiv.2607.09526); el código y los pesos se anuncian en GitHub. Trabajo financiado con fondos públicos chinos (NSFC 82430062 y otros); los autores declaran no tener conflictos de interés. Sobre la pregunta inversa — curar los datos en vez de destilar los modelos — véase nuestro decryptage sobre MedPMC y la literatura PMC; sobre un modelo de fundación de patología entrenado con datos reales, el de GigaPath; y sobre la evaluación crítica de las representaciones de modelos de fundación en oncología, nuestro decryptage probing y fusión en oncología.

Transparencia editorial: versión francesa redactada y firmada por la redacción de Tatakoto a partir de la lectura del preprint. Traducciones al inglés, español y chino producidas con asistencia de IA y revisadas.