médical IA

Lesiones cutáneas: 96 % de exactitud y 0,99 de AUC — sobre las tres cuartas partes de las imágenes que el modelo aceptó decidir

Publicado el 18 de agosto de 2026 · 11 min lectura

Dos autores, Rofiqul Islam y Lilatul Ferdouse, combinan tres redes neuronales con un mecanismo de estimación de incertidumbre para clasificar siete tipos de lesiones cutáneas en el conjunto de datos HAM10000, y anuncian 96 % de exactitud y un AUC de 0,99. Esas cifras se calculan únicamente sobre las imágenes que el sistema consideró suficientemente fiables: la tabla de resultados cubre 1 508 imágenes, mientras que un conjunto de prueba del 20 % sobre 10 015 imágenes contiene 2 003 — casi una cuarta parte de los casos descartados, una tasa que el artículo no reporta en ningún lugar. El gesto metodológico es correcto; la ejecución documenta su propio punto ciego, porque la abstención no es uniforme entre clases y es más alta en el melanoma.

El contexto

La clasificación automática de lesiones cutáneas a partir de imágenes de dermatoscopia — la fotografía de cerca de un lunar a través de una óptica polarizada — es uno de los terrenos más antiguos de la IA en medicina. Desde los trabajos de Esteva y colegas publicados en Nature en 2017, el campo dispone de un banco de pruebas dominante: HAM10000 (Human Against Machine with 10,000 training images), publicado por Tschandl, Rosendahl y Kittler en Scientific Data en 2018. Reúne 10 015 imágenes dermatoscópicas anotadas en siete categorías diagnósticas, recogidas en la Universidad de Medicina de Viena y en una consulta de cribado de Queensland, Australia.

El problema del campo ya no es mejorar la exactitud global en ese banco de pruebas: lleva años estancada en una banda estrecha donde los artículos ya no se distinguen realmente. La cuestión que importa ha pasado a ser la fiabilidad caso por caso. Un modelo útil en clínica no es el que acierta más a menudo, sino el que sabe decir «no lo sé» y derivar el caso al dermatólogo en lugar de decidir a ciegas.

Esa idea tiene un nombre preciso en aprendizaje automático: la predicción selectiva (clasificación con opción de rechazo), formalizada ya en 1970 por C. K. Chow y devuelta al centro del campo por Geifman y El-Yaniv en 2017. Viene con una regla de reporte innegociable: nunca se publica un rendimiento selectivo sin la cobertura asociada — la fracción de casos sobre los que el sistema acepta pronunciarse. Un 96 % de exactitud con cobertura del 100 % y un 96 % con cobertura del 50 % describen objetos sin relación. Es exactamente donde tropieza este preprint.

El método

Los datos. HAM10000, 10 015 imágenes RGB, siete clases: nevo melanocítico (nv), melanoma (mel), queratosis seborreica y lesiones afines (bkl), carcinoma basocelular (bcc), queratosis actínica y carcinoma intraepitelial (akiec), lesión vascular (vasc), dermatofibroma (df). El artículo describe una partición 80 % / 20 % por «muestreo estratificado», es decir, preservando la proporción de cada clase. No se menciona ningún conjunto de validación distinto. Las imágenes se redimensionan a 224 × 224 con normalización ImageNet estándar, y las aumentaciones se dan con amplitudes exactas (volteos horizontales y verticales, rotación de hasta 25°, variación de brillo, contraste y saturación de 0,2, cizallamiento afín de 10°). El desequilibrio entre clases — HAM10000 está dominado por los nevos benignos — se trata con muestreo ponderado durante el entrenamiento y con una focal loss, una función de coste que otorga más peso a los ejemplos difíciles y a las clases raras; sus dos parámetros, α y γ, nunca se indican.

Los modelos. Un ensamblado de tres arquitecturas preentrenadas en ImageNet y reentrenadas para la tarea: MaxViT-Tiny, un transformer de visión híbrido que alterna atención local por bloques y atención global dispersa; ConvNeXt-Tiny y EfficientNetV2-B0, dos redes convolucionales modernas. La elección es defendible: mezclar sesgos inductivos distintos (convolución local frente a atención) es la forma más fiable de reducir el error de un ensamblado. La combinación es un simple promedio aritmético de probabilidades de los tres modelos, sin ponderación aprendida. Entrenamiento: optimizador AdamW, tasa de aprendizaje 10⁻⁴, weight decay 10⁻⁴, planificador de recocido cosenoidal, 15 épocas, lotes de 16, precisión mixta automática, recorte de gradiente a 1,0. No se indican el modelo de GPU, el número de parámetros ni el tiempo de entrenamiento.

La incertidumbre. Es el núcleo declarado del artículo. El mecanismo es el MC Dropout (Gal y Ghahramani, 2016): se mantienen activas en inferencia las capas de dropout — que apagan aleatoriamente una fracción de neuronas — y se repite la predicción varias veces, sirviendo la dispersión de las salidas como aproximación de la incertidumbre. Aquí, T = 20 pasadas estocásticas por modelo, sesenta en total. Nunca se precisa la tasa de dropout aplicada ni la ubicación de las capas implicadas. La medida de incertidumbre es la entropía predictiva de la distribución promediada sobre las sesenta pasadas — una medida de lo repartida que está la masa de probabilidad entre las siete clases, máxima cuando el modelo la reparte por igual. Una predicción se declara fiable si la entropía es inferior a 1,0 y la probabilidad máxima alcanza 0,7. Ninguno de los dos umbrales se justifica, ni se barre, ni se ajusta en un conjunto de validación.

Conviene señalarlo: como la entropía se calcula sobre la distribución promediada, la dispersión entre las sesenta pasadas nunca se aprovecha como tal. El MC Dropout solo sirve aquí para suavizar las probabilidades, no para separar la incertidumbre irreducible de los datos de la del modelo — la distinción que el método debería permitir precisamente.

La interpretabilidad. Grad-CAM++ produce mapas de calor que señalan las regiones de la imagen que más pesan en la decisión. Se calculan sobre la última capa de MaxViT-Tiny únicamente.

Los resultados

Las cifras anunciadas. 96 % de exactitud, AUC de 0,99, precisión, sensibilidad y F1 en media macro de 0,94, 0,95 y 0,95, y 0,96 en media ponderada. Por clase: nv 0,99 / 0,97 / 0,98 sobre 1 044 imágenes; bkl 0,96 / 0,94 / 0,95 sobre 141; mel 0,81 / 0,92 / 0,86 sobre 150; bcc 0,95 / 0,98 / 0,96 sobre 84; akiec 0,90 / 0,94 / 0,92 sobre 47; vasc 1,00 / 0,96 / 0,98 sobre 26; df 1,00 / 0,94 / 0,97 sobre 16.

La columna que lo cambia todo. La tabla indica, con todas las letras, que cubre 1 508 imágenes. Un conjunto de prueba del 20 % sobre 10 015 imágenes contiene 2 003. La diferencia, unas 495 imágenes, corresponde a los casos descartados por el filtro de incertidumbre: la cobertura real es, por tanto, del orden del 75 %. Ese cálculo es nuestro. El artículo no da esa cifra en ningún momento, no reporta ningún rendimiento con cobertura plena y no traza ninguna curva riesgo-cobertura. La palabra «cobertura» solo aparece en dos frases cualitativas de la discusión.

Y la abstención no es uniforme. Comparando los efectivos retenidos con los esperados de una prueba estratificada al 20 %, la tasa de rechazo varía mucho según la clase: alrededor del 7 % para las lesiones vasculares, pero del orden de un tercio para el melanoma (150 retenidos frente a unos 223 esperados) y para las queratosis seborreicas (141 frente a unos 220). Dicho de otro modo, el sistema se abstiene más en la clase peligrosa y en su principal fuente de confusión. También aquí, el artículo no reporta ninguna tasa de rechazo por clase.

Traducción clínica. Sobre 1 000 imágenes pasadas por el sistema, unas 250 se derivarían a un dermatólogo y 750 se decidirían automáticamente. Entre los melanomas retenidos, una sensibilidad de 0,92 significa que unos 8 melanomas de cada 100 se etiquetarían como benignos sin alerta; la matriz de confusión da la forma en bruto — 10 melanomas clasificados como nevos y 30 nevos clasificados como melanoma solo entre los casos confiados. Pero un tercio de los melanomas del conjunto de prueba no se decidió en absoluto: la sensibilidad efectiva del dispositivo completo depende enteramente de lo que haga el dermatólogo aguas abajo con los casos derivados, algo que el artículo ni modela ni cuantifica. Esa es la diferencia entre evaluar un clasificador y evaluar un sistema de triaje.

Merece señalarse una incoherencia interna, porque va en el sentido de la prudencia aparente: el texto afirma que «el marco alcanza aun así una sensibilidad de 0,86» para el melanoma, mientras que la tabla da 0,92 en sensibilidad y 0,86 en F1. Los autores citan su propio F1 creyendo citar su sensibilidad.

Lo que está bien

El gesto es el correcto. Construir un clasificador que se niega a decidir los casos ambiguos y los deriva al clínico es exactamente la dirección hacia la que debe ir la IA dermatológica. El dispositivo es coherente de principio a fin: ensamblado heterogéneo transformer más convoluciones, MC Dropout en inferencia, criterio de rechazo doble (entropía y confianza máxima) en lugar de un simple umbral sobre el softmax, y una lectura explícita de la abstención como «derivar al dermatólogo».

El protocolo de entrenamiento está descrito con precisión. AdamW a 10⁻⁴, weight decay 10⁻⁴, recocido cosenoidal, 15 épocas, lotes de 16, precisión mixta, recorte a 1,0, y aumentaciones dadas con sus amplitudes exactas. Para un artículo de cinco páginas, es más completo que la media de la literatura sobre HAM10000, donde abundan los resultados sin ningún hiperparámetro.

Los resultados se dan por clase con los efectivos. Es lo que hace criticable el artículo — y es un mérito. Muchos trabajos sobre HAM10000 se detienen en una exactitud global de la que no se puede reconstruir nada. Aquí, la columna «Samples» de la tabla, leída contra el tamaño anunciado del conjunto de prueba, basta para recuperar la tasa de abstención que el texto omite. Los autores aportan ellos mismos los datos que permiten medir lo que no miden.

Lo que está menos bien

1. Métrica engañosa: un rendimiento selectivo sin cobertura no es un rendimiento. Es el problema central. Todas las métricas reportadas son posteriores al filtrado, ninguna se da con cobertura plena, no se produce ninguna curva riesgo-cobertura, y los umbrales (entropía 1,0, confianza 0,7) se plantean sin justificación ni análisis de sensibilidad. Consecuencia directa: ese 96 % no es comparable con ninguna cifra publicada sobre HAM10000, todas ellas con cobertura del 100 %. El preprint no señala nunca esa incomparabilidad. Añádase que el rechazo es mayor en el melanoma: una ayuda al triaje que se abstiene preferentemente en la clase que se intenta no pasar por alto desplaza la carga de trabajo exactamente allí donde ya es más pesada.

2. Riesgo de fuga de datos a nivel de lesión. HAM10000 contiene varias imágenes de una misma lesión — el conjunto se distribuye con un identificador de lesión precisamente para poder agrupar esos duplicados. El artículo solo escribe «muestreo estratificado», sin una palabra sobre agrupación por lesión o por paciente. Si la partición se hace a nivel de imagen, vistas casi idénticas de una misma lesión acaban a ambos lados de la frontera entrenamiento/prueba, y la exactitud medida incorpora una parte de memorización. Es el modo de fallo mejor documentado de este conjunto de datos. No se trata, ni se menciona, ni se descarta.

3. Ningún comparador, ninguna ablación, una sola ejecución. No hay tabla de comparación con la literatura. No hay resultado para cada uno de los tres modelos por separado, así que nada demuestra que el ensamblado aporte algo. No hay ablación del MC Dropout, de la focal loss ni del muestreo ponderado, ni comparación con un rechazo por simple umbral de softmax — la línea base evidente. Una sola semilla aleatoria, ningún intervalo de confianza, ninguna prueba estadística, cuando las precisiones de 1,00 anunciadas para df y vasc descansan sobre 16 y 26 imágenes respectivamente. Ninguna validación externa en una segunda cohorte, algo que los autores reconocen en dos líneas de conclusión. Ningún análisis de calibración — ni error de calibración esperado ni diagrama de fiabilidad — pese a que el artículo vende la calidad de su estimación de incertidumbre. Y en cuanto a transparencia: ni código, ni pesos, ni afiliación institucional legible, ni declaración de financiación, ni declaración de conflictos de interés.

Dos reservas secundarias, no menos estructurales. El sesgo de población: HAM10000 procede de dos fuentes, Viena y Queensland, es decir, poblaciones mayoritariamente de piel clara; nada indica cómo se comporta el modelo en fototipos oscuros, donde el melanoma es más raro pero se diagnostica más tarde. La interpretabilidad como adorno: los mapas Grad-CAM++ no se evalúan con ninguna métrica de localización ni estudio de lectura por clínicos, y los cuatro ejemplos mostrados son todos casos correctamente clasificados — no se ilustra ningún fallo. Además se calculan sobre MaxViT-Tiny únicamente, y por tanto no explican el predictor realmente evaluado, que es el promedio de los tres modelos.

Lo que esto cambia

Para la comunidad investigadora. Este preprint es un caso de estudio útil, menos por lo que propone que por lo que ilustra. La predicción selectiva se está convirtiendo rápidamente en el marco por defecto de la IA diagnóstica, y llega con una exigencia de reporte que la comunidad de imagen aún no ha asimilado: la cobertura es una métrica, no un detalle de implementación. La norma mínima debería ser una curva riesgo-cobertura, o al menos un triplete (exactitud, cobertura, tasa de rechazo por clase) — barato de producir y suficiente para volver a hacer comparables las cifras. Un revisor debería rechazar cualquier tabla de rendimiento selectivo que carezca de esa información.

Para los clínicos. Nada, hoy. Un modelo entrenado y probado en un único conjunto de datos público, sin validación externa, sin código, sin pesos, sin calibración y sin cobertura reportada no es un objeto evaluable en la práctica. La pregunta que hay que hacer a cualquier proveedor que presente un dispositivo así es sencilla y basta para cribar: ¿sobre qué fracción de casos acepta pronunciarse su sistema, y cuál es el rendimiento en los restantes? Un dispositivo de triaje no se juzga por los casos que le resultan fáciles.

Para los pacientes y el público general. Una cifra de exactitud anunciada sin su perímetro no significa nada. «96 % de exactitud» puede designar un modelo que acierta 96 veces de cada 100 en todos los casos, o un modelo que acierta 96 veces de cada 100 en las tres cuartas partes de los casos que ha elegido — y deja el resto a un humano. En el segundo caso, la cifra describe tanto la selección como el rendimiento. Es una pregunta que conviene hacer sistemáticamente, también a las aplicaciones de consumo de fotografía de lunares, que apoyan habitualmente su comunicación en métricas de este tipo.

Para saber más

Tatakoto no proporciona consejo clínico individual. Este artículo describe y critica una publicación científica; no recomienda ninguna herramienta ni ninguna conducta diagnóstica.