Informes de patología generados por IA: por qué las puntuaciones BLEU sobrestiman la calidad, y qué corrige la métrica clínica CRQS

Un equipo de Stony Brook y de la Universidad de Utah montó el primer banco de pruebas estandarizado para la generación automática de informes de patología a partir de láminas digitalizadas, reevaluando cuatro modelos y tres codificadores de imagen en tres conjuntos de datos. Su hallazgo: las métricas de lenguaje habituales (BLEU, ROUGE, METEOR) premian el parecido de superficie y pueden puntuar alto un informe que invirtió el diagnóstico. Para remediarlo proponen CRQS, una puntuación que compara los hechos clínicos extraídos en vez de las palabras —pero la métrica-juez se apoya ella misma en un modelo de lenguaje y se mide contra referencias ruidosas.

El contexto

Generar un informe de patología a partir de una lámina consiste en pedir a un modelo que lea una whole-slide image (WSI) —el escaneo de una lámina de tejido teñida, una imagen «gigapíxel» de miles de millones de píxeles— y redacte el informe diagnóstico: tipo de tumor, grado, estadio, márgenes, afectación ganglionar. La tarea es reciente y se vuelve realista gracias a los foundation models de patología, redes de visión preentrenadas con enormes colecciones de láminas (aquí CONCH, UNI, H-Optimus) que convierten cada fragmento de imagen en vectores de características utilizables.

Dos problemas frenan el campo. Primero, la comparabilidad: cada equipo usa sus propios datos, su codificador, su preprocesamiento y su protocolo, de modo que se ignora si una mejora anunciada viene del modelo o del montaje experimental. Segundo, la evaluación. La mayoría de los trabajos califican los informes generados con métricas tomadas de la traducción automática —BLEU, ROUGE, METEOR— que miden el solapamiento léxico, es decir la proporción de palabras o secuencias cortas comunes entre el texto producido y el de referencia. El problema es clínico: un informe puede parecerse palabra por palabra a la referencia y a la vez omitir un diagnóstico, equivocar el grado o inventar una afectación ganglionar. Esos errores no son lingüísticos, son médicos —y una métrica de superficie no los ve.

El método

El trabajo tiene dos piezas. La primera es un banco de pruebas estandarizado. Los autores reimplementan cuatro métodos representativos en una única base de código: WSI-Caption (llamado MI-Gen, un generador por multiple instance learning, que agrega características de fragmentos para producir un informe de lámina), HistGen (codificación jerárquica local-global), BiGen (modelo aumentado por recuperación, que busca conocimiento textual externo) y SCOUT (transformador multimodal sensible al contexto). Cada uno se acopla a tres codificadores de patología —CONCHv1.5, UNI2-h y H-Optimus-1— para aislar el efecto de la representación visual. Todo pasa por el mismo pipeline: extracción de características con la herramienta TRIDENT sobre fragmentos a aumento 20×, el mismo tokenizador, las mismas particiones train/validación/test, entrenamiento en GPU H100/H200 con un tamaño de lote de 1. Tres conjuntos con perfiles complementarios: TCGA (7 074 / 884 / 885 láminas; informes largos, en texto libre, con alto ruido de anotación), HistAI (9 980 / 1 248 / 1 248; multicéntrico, moderadamente estructurado) y REG 2025 (5 924 / 740 / 741; informes cortos, semiestructurados, poco ruidosos).

La segunda pieza es la métrica CRQS (Clinical Report Quality Score). En vez de comparar dos textos, CRQS extrae de cada informe —generado y referencia— un conjunto de campos clínicos estructurados (diagnóstico, tipo histológico, grado, estadio, estado de los márgenes, afectación ganglionar, biomarcadores), mediante un pipeline de modelo de lenguaje, y luego normaliza el vocabulario. Después calcula cuatro subpuntuaciones: la cobertura de hechos (proporción de campos de la referencia correctamente recuperados), el recuerdo de la información clave (los campos más decisivos: diagnóstico, grado, estadio, márgenes, ganglios), la tasa de alucinación (proporción de hechos afirmados por el modelo que no figuran en la referencia) y la discordancia clínica (contradicciones directas sobre un campo presente en ambos lados). La combinación pondera con más fuerza el recuerdo de la información clave y penaliza más la discordancia que la alucinación —pues un valor contradictorio es más peligroso que un añadido no conflictivo— y luego normaliza entre 0 y 1. El esquema de campos se diseñó con un patólogo, priorizando los elementos realmente inferibles desde la lámina.

Los resultados

El contraste entre conjuntos es llamativo. En REG 2025 (informes cortos y estructurados), las métricas léxicas y clínicas coinciden: BLEU-1 en torno a 0,83–0,86 y CRQS en torno a 0,69–0,71. En TCGA (texto libre, largo), CRQS se desploma a unos 0,18–0,19 y la tasa de alucinación alcanza cerca de 0,5 —casi la mitad de los hechos clínicos afirmados por el modelo sin respaldo en la referencia— mientras que las puntuaciones léxicas siguen «presentables» (BLEU-1 ≈ 0,34–0,39). Es decir, en datos realistas las métricas clásicas sobrestiman claramente la calidad clínica. HistAI queda en medio (CRQS ≈ 0,27–0,29).

Sobre todo, el mejor modelo cambia según la métrica. En REG 2025, SCOUT domina las puntuaciones de lenguaje pero es BiGen quien obtiene el mejor CRQS medio: elegir el sistema por BLEU habría coronado a un ganador distinto que el criterio clínico. Dos ejemplos hacen tangible la disociación. Caso 1: el modelo rebaja una lesión del cuello uterino de alto grado (HSIL / CIN 2) a bajo grado (LSIL / CIN 1) —un error clínicamente grave— y sin embargo METEOR le da 0,4264 (una nota decente) mientras CRQS la hunde a −0,0714. Caso 2: el modelo escribe «hiperplasia reactiva del ganglio» donde la referencia dice «ganglio reactivo, sin carcinoma metastásico» —mismo sentido clínico, palabras distintas— y METEOR lo sanciona con 0,0114 (nota catastrófica) cuando CRQS reconoce 0,9143. La elección del codificador tiene un efecto medible pero ninguno domina en todas partes: la representación visual óptima depende del conjunto y del método.

La traducción clínica del caso 1 lo dice todo: describir como «bajo grado» una verdadera lesión precancerosa de alto grado del cuello uterino arriesga que una paciente que requiere tratamiento o vigilancia estrecha sea simplemente tranquilizada. Una métrica que puntúa ese error 0,43 sobre 1 dejaría pasar un modelo peligroso; es exactamente lo que CRQS busca evitar.

Lo que está bien

Una estandarización real, reproducible y pública. Particiones fijas compartidas, extracción unificada por TRIDENT, reimplementación de los cuatro métodos en una sola base PyTorch Lightning: el montaje ataca de frente el problema de comparabilidad del campo. Dato revelador, varios modelos reevaluados superan sus propias cifras de origen, lo que sugiere que parte del «progreso» publicado se debía al preprocesamiento y no a la arquitectura. El marco y las particiones son abiertos (repositorio PathBench en GitHub), por tanto reproducibles.

Una métrica que habla clínica, no lingüística. Al descomponer la calidad en modos de fallo interpretables —omisión, campo clave perdido, alucinación, contradicción— CRQS hace exactamente lo que BLEU no hace, y en ambos sentidos: castiga una inversión de grado que METEOR consideraba aceptable y premia una reformulación correcta que METEOR juzgaba nula. El esquema, construido con un patólogo y centrado en los elementos visibles en la lámina, ancla la evaluación en la práctica sinóptica real.

Financiación pública, equipos académicos, sin conflicto de intereses. El trabajo cuenta con subvenciones del NIH (entre ellas 1R01CA297843-01) y de la NSF (2442053), impulsado por laboratorios universitarios (informática biomédica en Stony Brook, patología en la Universidad de Utah), sin patrocinador comercial ni conflicto declarado. En una cuestión de evaluación, la independencia importa: quien define la métrica decide qué modelos «ganan».

Lo que está menos bien

La métrica engañosa… corregida por una métrica que juzga con un modelo de lenguaje. Para extraer los hechos clínicos, CRQS se apoya en un pipeline de LLM. El juez clínico es, por tanto, él mismo un modelo de lenguaje, cuya tasa de error de extracción no se cuantifica a gran escala contra patólogos —solo está «verificado por expertos» de forma cualitativa. Se corre el riesgo de desplazar un nivel el problema que se pretende resolver: un juez-LLM puede alucinar un campo o normalizar mal un sinónimo, y reintroducir precisamente la alucinación y la métrica engañosa que debe medir. Es el mismo escollo que el de un LLM-evaluador en la clínica, que hemos descrito en otro lugar.

Se mide la fidelidad a una referencia, ella misma ruidosa, nunca un resultado para el paciente. CRQS compara el informe generado con el informe de referencia —pero los informes TCGA se describen explícitamente como «de alto ruido de anotación». Discordancia y alucinación se calculan, pues, contra una verdad de terreno imperfecta: un «hecho alucinado» puede ser una observación correcta ausente de una referencia descuidada, y la discordancia penaliza un desacuerdo con una referencia a veces errónea. La tasa de alucinación de 0,5 en TCGA refleja en parte la calidad de las referencias, no solo el fallo del modelo. En ningún momento la métrica toca un desenlace clínico: sin estudio lector con patólogos sobre los informes finales, sin validación prospectiva. A ello se suma un sesgo de población asumido —solo tres conjuntos, de predominio occidental (incluido el estadounidense TCGA): la generalización a otros laboratorios y poblaciones no se prueba.

Elecciones de diseño no probadas. Los pesos de CRQS (0,30 / 0,40 / 0,20 / 0,40) se fijan a mano, sin análisis de sensibilidad que muestre cómo se moverían las clasificaciones al reponderar; y un informe individual puede recibir una puntuación negativa (el caso CIN en −0,07), de modo que la normalización entre 0 y 1 solo se sostiene en promedio. Por último, el tamaño de lote de 1 y una estrategia de decodificación fija no explotan necesariamente la mejor configuración de cada método: las cifras absolutas valen como comparaciones internas al banco de pruebas, no como techo de rendimiento de un modelo dado.

Lo que cambia

Para la comunidad investigadora, el mensaje es claro: en generación de informes de patología, la corrección clínica —y no el solapamiento léxico— debe convertirse en el criterio primero, y la evaluación debe abarcar varios conjuntos y codificadores para evitar conclusiones de un solo ajuste. El marco y las particiones reutilizables abaratan una comparación honesta. Queda ahora «validar al validador»: cuantificar el error de extracción de CRQS contra patólogos, probar la sensibilidad a los pesos y ligar la evaluación a desenlaces clínicos.

Para los clínicos, nada que desplegar —es una herramienta para calificar sistemas de investigación, no un dispositivo. Pero la lección es directamente útil: un proveedor que presume de un «estado del arte BLEU/ROUGE» para una herramienta de informe automático no dice casi nada sobre la seguridad clínica. Las preguntas correctas son la cobertura de hechos, la tasa de alucinación y la discordancia medidas contra referencias verificadas por patólogos.

Para los pacientes y el público, el estudio atempera los titulares del tipo «una IA redacta tu informe de anatomía patológica». En datos realistas en texto libre (TCGA), los sistemas actuales alucinan cerca de la mitad de sus hechos clínicos y obtienen una fidelidad clínica baja, incluso cuando sus informes «se leen bien». El informe de patología automatizado sigue siendo un problema de investigación, no un producto clínico —y el verdadero progreso se medirá por la exactitud de los hechos, no por la fluidez del texto.

Para ir más lejos

El preprint está disponible en arXiv (2607.18448), depositado en julio de 2026 por Suryakant Singh, Sejuti Majumder, Beatrice Knudsen, Joel Saltz y Prateek Prasanna (Stony Brook University; University of Utah); aún no ha sido revisado por pares. El marco de evaluación y las particiones se publican como PathBench en GitHub. Sobre la evaluación mediante modelo de lenguaje y los foundation models en patología, véanse nuestros decryptages sobre los límites de un LLM-evaluador para calificar la IA médica, sobre la construcción de un foundation model de patología por destilación de expertos, y sobre la robustez y la generalización de los foundation models de histopatología.

Transparencia editorial: versión francesa redactada y firmada por la redacción de Tatakoto a partir de la lectura del preprint. Traducciones al inglés, español y chino producidas con asistencia de IA y revisadas.