Cuando un detector de cáncer de piel cambia de país: un clasificador en cascada de imágenes dermoscópicas cae de 0,96 a 0,80 de AUC entre el archivo ISIC y la clínica rusa (arXiv, 2026)

Publicado el 11 de junio de 2026 en arXiv, este preprint de Elena Kozachok y colaboradores compara cuatro arquitecturas de redes neuronales y tres formas de organizar la decisión para clasificar imágenes de dermoscopia (la piel examinada con gran aumento) de lesiones cutáneas, y luego pone a prueba su capacidad de generalizar desde un gran archivo internacional abierto (ISIC) hacia dos conjuntos clínicos rusos independientes. El resultado central es una advertencia: una discriminación benigno/maligno casi perfecta de forma interna (área bajo la curva ROC de 0,952 a 0,966) se derrumba en otro terreno — en los datos de la Universidad Sechenov, el AUC cae a 0,797–0,893, la sensibilidad a 0,53–0,67 y la calibración se degrada con fuerza, equivocándose el modelo en la dirección peligrosa al subestimar el riesgo de cáncer. La contribución metodológica, una clasificación en cascada con un umbral de triaje ajustable, permite controlar de forma explícita la sensibilidad, algo que un clasificador de una sola etapa no puede hacer. El mérito del trabajo es medir y publicar esta brecha de generalización que la mayoría de los estudios prefiere ignorar; sus límites están en cohortes de validación muy pequeñas y desequilibradas, sin comparación con un dermatólogo ni ensayo prospectivo.

El contexto

El cáncer de piel es uno de los terrenos más antiguos y activos de la IA médica. Desde 2017, numerosos modelos alcanzan, en conjuntos de prueba "limpios", un rendimiento comparable al de dermatólogos para distinguir una lesión benigna de una maligna en imágenes de dermoscopia — la técnica de examinar la piel a través de una lupa iluminada para revelar estructuras invisibles a simple vista. La mayoría de estos modelos se entrenan y evalúan sobre la misma fuente de datos: el archivo ISIC (International Skin Imaging Collaboration), un repositorio público que agrega cientos de miles de imágenes dermoscópicas, sobre todo de poblaciones de piel clara y centros occidentales.

El problema conocido, pero rara vez cuantificado, es el desplazamiento de dominio: ¿un modelo que brilla con imágenes ISIC sigue comportándose correctamente con imágenes adquiridas en otro lugar, con otros aparatos, otros protocolos, otros pacientes? En oncología cutánea, lo que está en juego no es abstracto. No detectar un melanoma (el cáncer de piel más mortal) o un carcinoma tiene consecuencias directas. Este trabajo aborda de frente esa pregunta confrontando modelos entrenados en ISIC con la realidad de la práctica clínica rusa, y comparando de paso varias maneras de estructurar la decisión diagnóstica.

El método

Los autores comparan cuatro arquitecturas de visión modernas, todas preentrenadas en ImageNet (un gran conjunto de imágenes generalistas) y luego reentrenadas con datos dermoscópicos. Dos son transformers de visión — redes que dividen la imagen en pequeños recuadros y aprenden sus relaciones mediante un mecanismo llamado de atención: ViT-B/16 y Swin-S. Dos son redes convolucionales, la familia clásica especializada en detectar patrones locales: ConvNeXt-S y EfficientNetV2-S. Todas usan el mismo protocolo de aumento de datos (rotaciones, recortes y variaciones para diversificar artificialmente el entrenamiento), para que la comparación sea justa.

Sobre todo, los autores enfrentan tres esquemas de clasificación. El primero es binario: benigno frente a maligno. El segundo es una clasificación en cuatro clases de una sola etapa: benigno, melanoma (MEL), carcinoma epidermoide cutáneo (SCC) y carcinoma basocelular (BCC), eligiendo la red directamente la clase más probable (la regla del "argmax"). El tercero es una cascada de dos etapas: un primer modelo hace un triaje benigno/maligno, y un segundo diferencia, entre las lesiones consideradas malignas, entre MEL, SCC y BCC. La ventaja reivindicada de esta cascada es que se puede ajustar el umbral de triaje: al bajarlo, aumenta la sensibilidad (se escapan menos cánceres) a costa de más falsas alarmas — un control deslizante que la regla fija del argmax no permite.

El entrenamiento se apoya en la agregación de datos abiertos del archivo ISIC. La evaluación se hace en tres niveles: una muestra interna reservada (de la misma distribución que ISIC), y luego dos conjuntos clínicos externos independientes — una submuestra del sistema móvil comercial Melanoscope AI (472 imágenes: 450 benignas, 22 malignas, de las cuales 14 melanomas, 1 SCC y 7 BCC) y un conjunto de la Universidad Sechenov (77 imágenes: 20 benignas, 57 malignas, de las cuales 28 melanomas, 6 SCC y 23 BCC). El rendimiento se mide con el AUC ROC (capacidad de separar un caso maligno de uno benigno), la sensibilidad (proporción de cánceres detectados correctamente) y el ECE (Expected Calibration Error, o error de calibración esperado: la diferencia entre la confianza que muestra el modelo y su exactitud real — un ECE bajo significa que una puntuación del 80 % corresponde de verdad a un 80 % de aciertos).

Los resultados

Internamente, todo va bien: la etapa binaria benigno/maligno alcanza un AUC ROC de 0,952 a 0,966 según la arquitectura, el nivel esperado para modelos modernos con datos de la misma fuente que el entrenamiento. Es en el terreno externo donde la imagen se invierte. En el conjunto de la Universidad Sechenov, el AUC binario cae a 0,797–0,893, y sobre todo la sensibilidad baja a 0,53–0,67: según la arquitectura, entre un tercio y casi la mitad de las lesiones realmente malignas dejan de señalarse como tales. En el mismo movimiento, el ECE salta de 0,02 a 0,27–0,39: el modelo deja de estar calibrado, y la deriva va en la dirección más peligrosa, subestimando la malignidad — atribuyendo puntuaciones de confianza tranquilizadoras a lesiones que en realidad son cánceres. La cascada, por su parte, cumple su promesa metodológica: ajustando el umbral de triaje se recupera un control explícito de la sensibilidad, imposible con el argmax de una etapa, y el encadenamiento "triaje y luego diferenciación" reproduce mejor la lógica del diagnóstico diferencial clínico.

Traducción clínica: una sensibilidad de 0,53–0,67 sobre las 57 lesiones malignas de Sechenov significa que entre 19 y 27 cánceres de 57 se clasificarían erróneamente como benignos. Para un melanoma, un falso negativo así puede costar meses de retraso diagnóstico en un tumor cuyo pronóstico depende estrechamente de un manejo precoz. La calibración degradada agrava el cuadro: el modelo no solo se equivoca más a menudo fuera de su dominio de entrenamiento, sino que lo hace con seguridad, que es precisamente el perfil de error con más probabilidad de inducir a error a un usuario que confíe en la puntuación. A la inversa, el control de sensibilidad de la cascada muestra la salida posible: para una herramienta de cribado, se preferiría ajustar el umbral hacia una sensibilidad alta, aun a costa de multiplicar las falsas alarmas y, por tanto, las pruebas y biopsias innecesarias — un compromiso que debe asumirse de forma explícita, no sufrirse.

Lo que está bien

Una validación externa real, en otro país, y una brecha de generalización publicada sin maquillaje. Ahí está el núcleo del valor del trabajo: en lugar de informar un AUC halagador en una prueba interna derivada de ISIC, los autores confrontan sus modelos con dos conjuntos clínicos rusos independientes y publican la caída — AUC de 0,96 a 0,80, sensibilidad de hasta 0,53. Es exactamente la prueba que la literatura dermoscópica, entrenada y evaluada masivamente en ISIC, tiende a eludir.

Una cascada que hace ajustable la sensibilidad y se ajusta a la lógica clínica. Separar el triaje benigno/maligno de la diferenciación entre tipos de cáncer, con un umbral ajustable, no es solo elegancia técnica: devuelve al diseñador un control deslizante sensibilidad/especificidad que la decisión argmax de una etapa bloquea. Para un uso de cribado, donde no detectar un cáncer es mucho más grave que una falsa alarma, es la palanca adecuada en el lugar adecuado.

La calibración medida, no solo la exactitud. Al informar el ECE y no únicamente el AUC o la exactitud, los autores documentan un modo de fallo que casi todos los artículos silencian: un modelo puede seguir siendo "más o menos correcto" en promedio y volverse peligrosamente demasiado confiado fuera de distribución. Mostrar que el ECE estalla de 0,02 a casi 0,4 es clínicamente más elocuente que muchos decimales de AUC.

Lo que está menos bien

Un desplazamiento de dominio y un probable sesgo de población en el origen del derrumbe (modos de fallo: sesgo de población y desplazamiento de dominio). Los modelos se entrenan en ISIC, archivo dominado por poblaciones de piel clara y centros occidentales, y luego se prueban en una práctica clínica rusa con otros aparatos y protocolos de adquisición. La caída de AUC y sensibilidad es la firma clásica de ese desplazamiento. El trabajo lo constata pero no lo corrige (sin reentrenamiento local, sin adaptación de dominio evaluada), de modo que el mensaje sigue siendo un diagnóstico del problema más que una solución.

Cohortes externas diminutas y muy desequilibradas (modos de fallo: la métrica engañosa y el sesgo de selección). El conjunto Sechenov solo tiene 77 imágenes (con apenas 6 SCC) y el conjunto Melanoscope 472 imágenes con apenas 22 lesiones malignas (incluido un único SCC). Con números tan pequeños, cada caso pesa enormemente: una sensibilidad de 0,53 a 0,67 tiene un intervalo de confianza muy amplio, y la clase SCC está demasiado poco representada para concluir nada. Además, el balance benigno/maligno de Sechenov (mayoría de malignos) está invertido respecto a un contexto de cribado real donde las lesiones benignas dominan ampliamente — lo que hace difícil transponer las cifras brutas tal cual.

Ningún comparador dermatólogo, un conjunto de validación de origen comercial y un estatus de simple preprint (modos de fallo: comparador sesgado y posibles conflictos de interés). La única comparación es interna al trabajo (arquitecturas y esquemas entre sí); no hay contraste con el juicio de dermatólogos, que sigue siendo el patrón clínico pertinente. Uno de los dos conjuntos externos procede de un sistema móvil comercial (Melanoscope AI), lo que plantea una cuestión de procedencia y representatividad de los datos a tener en cuenta. Por último, es un preprint aún no revisado por pares, retrospectivo, sin validación prospectiva ni estatus regulatorio — reservas habituales, pero aquí decisivas dado lo que está en juego (un cáncer no detectado).

Lo que cambia

Para la comunidad de investigación, el trabajo aporta una referencia sobria y útil sobre la magnitud de la brecha de generalización en dermoscopia, y dos ideas reutilizables: la clasificación en cascada con sensibilidad ajustable, y la evaluación sistemática de la calibración (ECE) bajo desplazamiento de dominio, no solo del AUC. Aboga, con el ejemplo, por hacer de la validación externa y la calibración exigencias por defecto en lugar de extras.

Para los clínicos, hoy no cambia nada en la práctica. Un modelo que deja pasar de un tercio a la mitad de los cánceres fuera de su dominio de entrenamiento, y que lo hace con una confianza mal calibrada, no puede servir como herramienta autónoma. El mensaje práctico es más bien negativo y valioso: un clasificador entrenado en ISIC no debe desplegarse sobre una nueva población sin validación y recalibración locales previas.

Para los pacientes y el público, es un recordatorio de prudencia ante las aplicaciones de "cribado de cáncer de piel" por foto. Una herramienta que muestra cifras excelentes con datos internacionales puede rendir claramente peor en otra población, y una puntuación tranquilizadora no es una garantía. La vía de la sensibilidad ajustable apunta, no obstante, hacia herramientas de cribado más seguras — calibradas para preferir atrapar los cánceres, a costa de pruebas adicionales — siempre que ese compromiso sea explícito y se valide localmente.

Para saber más

El preprint completo está disponible en arXiv (DOI 10.48550/arXiv.2606.13135), publicado el 11 de junio de 2026 por Elena Kozachok y colaboradores, con una validación clínica vinculada en particular a la Universidad Sechenov (Moscú). Los datos de entrenamiento provienen del archivo ISIC, repositorio público de imágenes dermoscópicas. Para el marco clínico del cribado del melanoma y la lectura crítica de las herramientas de IA en dermatología, las recomendaciones de las sociedades de dermatología y las revisiones dedicadas a la validación externa de modelos ofrecen puntos de entrada fiables.