RadGrounder: un modelo de visión-lenguaje para radiología que muestra dónde mira, entrenado con 1,2 millones de cortes sin anotación manual

Un equipo de las universidades de Freiburg y Aarhus presenta RadGrounder, un modelo de visión-lenguaje que redacta un informe radiológico, responde preguntas sobre una imagen y — sobre todo — señala, en el corte de TC o RM, la estructura de la que habla. Su verdadera contribución no es una puntuación récord, sino un método de fabricación de datos: 1,2 millones de pares imagen-texto y 9,6 millones de pares pregunta-respuesta se generaron automáticamente, sin anotación manual, poniendo a otros modelos de lenguaje a trabajar sobre los informes de un solo hospital. El resultado rivaliza con los mejores modelos médicos existentes en dos conjuntos de preguntas públicos — pero el anclaje espacial solo señala órganos, nunca las lesiones, y toda la cadena de entrenamiento descansa en etiquetas producidas por IA que ningún radiólogo verificó jamás.

El contexto

Un modelo de visión-lenguaje (en inglés vision-language model, VLM) es un sistema que toma una imagen como entrada y produce texto como salida: describir una radiografía, responder una pregunta formulada en lenguaje natural. En radiología, estos modelos prometen ayudar a redactar los informes y a interrogar una imagen. Su defecto más documentado es la alucinación: el modelo afirma con seguridad algo que no está en la imagen — una lesión inexistente, una localización inventada.

Una vía para disciplinar estos modelos es el anclaje espacial (grounding): obligar al sistema a designar, con una caja delimitadora o una máscara, la región precisa de la imagen a la que se refiere su afirmación. Una salida «anclada» es verificable — se puede comprobar si el modelo señala el lugar correcto. El problema práctico es el coste: entrenar un modelo para el anclaje exige normalmente que radiólogos dibujen a mano miles de cajas sobre imágenes, un trabajo lento y caro. Es ese cuello de botella lo que el preprint intenta eliminar, fabricando las anotaciones automáticamente en lugar de a mano.

El método

El núcleo del trabajo es un conjunto de datos, RefRad2D, construido a partir de los archivos clínicos de un centro médico universitario (Freiburg, Alemania) que abarca una década de práctica. Reúne 1,2 millones de pares imagen-texto extraídos de 945 000 cortes de TC y 321 000 cortes de RM. Los modelos trabajan aquí sobre cortes individuales en dos dimensiones, no sobre los volúmenes 3D enteros.

La fabricación de las etiquetas está casi totalmente automatizada, y ese es el punto decisivo. Los informes, redactados en alemán, se traducen al inglés con el modelo Gemma 3 (27 000 millones de parámetros), afinando la calidad de traducción con otro modelo, GPT-OSS (120 000 millones de parámetros), como juez. Ese mismo GPT-OSS reescribe luego las leyendas para eliminar las referencias temporales («la lesión ha crecido desde el último examen») que no tienen sentido en una sola imagen y empujan al modelo a alucinar. Un subconjunto de preguntas-respuestas — unos 9,6 millones de pares — es generado por Gemma 3, a razón de varias preguntas por imagen (abiertas, sí/no, opción múltiple).

Para el anclaje, los autores no emplean a ningún radiólogo: pasan los volúmenes por TotalSegmentator, una herramienta automática que segmenta órganos, produciendo máscaras para 117 categorías anatómicas en TC y 50 en RM, armonizadas en 121 clases. GPT-OSS detecta en cada leyenda las menciones anatómicas y las vincula a las máscaras correspondientes; una imagen se conserva solo si texto y máscara se refieren realmente a la misma estructura. Este filtrado produce 236 157 cortes anotados espacialmente.

El modelo en sí, llamado RadGrounder, se construye sobre PaliGemma 2 (3000 millones de parámetros): un codificador visual SigLIP (adaptado al dominio médico y luego congelado, es decir, fijado durante el entrenamiento final) transforma la imagen en tokens, que un decodificador de lenguaje Gemma-2B lee junto al texto. El truco del anclaje es tratar la detección como generación de texto: las coordenadas de una caja se dividen en 512 valores discretos que el modelo «escribe» como palabras. El entrenamiento completo cabe en una sola GPU H100 en unos dos días y medio.

La evaluación combina un conjunto de prueba interno (de RefRad2D) y, sobre todo, dos conjuntos públicos externos, Slake y VQA-RAD, que sirven de referencia para la respuesta a preguntas en imagen médica. Las métricas: el CIDEr (calidad de la descripción), el F1 (media armónica entre precisión y exhaustividad), la exactitud en preguntas cerradas, y el G-IoU, una medida de solapamiento entre la caja predicha y la región real. Una puntuación automática de calidad, el LLMScore (Gemma 3 como juez), se validó frente a tres radiólogos sobre 200 preguntas.

Los resultados

En los benchmarks externos, RadGrounder aguanta la comparación con los mejores modelos médicos. En Slake alcanza un F1 de 87,7 y una exactitud del 90,3 % en preguntas cerradas — codo con codo con BiomedGPT-B (85,2 y 89,9 %) y LLaVA-Med (86,8 % de exactitud), y por encima de Med-Gemini (75,8 de F1) y de MedGemma (72,3). En VQA-RAD, más difícil, obtiene el mejor F1 en preguntas abiertas entre los modelos comparados (50,7) pero una exactitud en preguntas cerradas más modesta (64,7 %). Para el anclaje, la variante por generación de texto supera a una variante con cabezal de segmentación dedicado: G-IoU de 43,6 frente a 36,9.

La traducción clínica obliga a la mesura. Un G-IoU de 43,6 significa que la caja predicha solapa de media menos de la mitad de la región objetivo: aceptable para una prueba de concepto, lejos de una localización fiable. Y ese anclaje concierne a órganos enteros, no a las anomalías. El modelo sabe señalar «el hígado», no «el tumor de hígado». En cuanto a la metrología, la validación del LLMScore es cuidadosa — acuerdo entre radiólogos de 0,958 (Krippendorff), correlación de 0,977 entre la puntuación automática y la media humana — pero se midió sobre una pequeña muestra externa, no sobre la distribución de preguntas fabricadas por el propio modelo.

Lo que está bien

Un motor de datos que suprime la anotación manual. Producir 1,2 millones de pares imagen-texto, 9,6 millones de pares pregunta-respuesta y 236 000 cortes anclados sin que un humano dibuje una sola caja, en una GPU en dos días y medio, es una contribución metodológica real y reproducible. El detalle de eliminar automáticamente las referencias temporales de las leyendas es una parada astuta a una causa conocida de alucinación.

El anclaje espacial como disciplina antialucinación. Obligar a un modelo a designar la región que justifica su afirmación es la dirección correcta para hacer sus salidas verificables. La decisión de tratar la detección como generación de texto, más simple que un cabezal de segmentación dedicado, además rinde mejor aquí (43,6 frente a 36,9 de G-IoU), lo que simplifica la arquitectura.

Una evaluación metodológicamente limpia. Intervalos de confianza por bootstrap sobre 10 000 remuestreos, validación de la puntuación automática frente a tres radiólogos, y sobre todo la corrección de una trampa conocida: VQA-RAD contiene imágenes compartidas entre entrenamiento y prueba, una fuga de datos (contaminación del conjunto de prueba por el de entrenamiento, que infla las puntuaciones); los autores adoptan una división saneada para evitarla. Es el tipo de rigor a menudo ausente de la literatura.

Lo que está menos bien

Etiquetas fabricadas por IA, nunca verificadas por un radiólogo: los modos de fallo del comparador y de la verdad de referencia ausentes. Traducciones, reescrituras de leyendas, 9,6 millones de pares pregunta-respuesta, máscaras de órganos, emparejamiento texto-imagen — todo lo producen Gemma 3, GPT-OSS y TotalSegmentator. Ninguna verdad de referencia humana valida esos tripletes. Cualquier error sistemático de esos modelos maestros se aprende y luego se integra en el alumno, y el techo de calidad de RadGrounder es el de sus generadores, no el de un radiólogo.

El anclaje solo señala la anatomía, no la patología: un atajo que debilita la promesa. TotalSegmentator segmenta órganos, así que «mostrar dónde mira» designa estructuras normales, no lesiones — precisamente lo que un clínico querría localizado. La verificabilidad anunciada es, por tanto, mucho más débil de lo que parece, y un G-IoU de 43,6 sigue siendo modesto incluso sobre esos blancos anatómicos fáciles.

Una métrica en parte circular y un sesgo de población. El LLMScore usa Gemma 3, la misma familia de modelo que generó las preguntas de entrenamiento, para juzgar las respuestas — un riesgo de métrica engañosa por complacencia, que la validación sobre 200 ítems externos no descarta del todo. Se suman un sesgo de población (un solo hospital alemán, un inglés de traducción automática y no nativo), una evaluación limitada a benchmarks sin estudio clínico prospectivo, y una ausencia de disponibilidad: código anunciado «en la publicación» pero no publicado hasta la fecha, datos no compartidos, licencia no precisada.

Lo que cambia

Para la comunidad investigadora, el verdadero aporte es el motor de datos: una plantilla reproducible para construir conjuntos de entrenamiento anclados en radiología sin presupuesto de anotación, y una manera elegante de hacer detección mediante generación de texto. Es una herramienta que otros equipos reutilizarán, siempre que sean conscientes de que también heredan los sesgos de los modelos generadores.

Para los clínicos, nada es desplegable hoy: el anclaje concierne a órganos y no a anomalías, la evaluación se queda confinada a conjuntos de preguntas, los datos vienen de un solo centro, y los pesos no están disponibles. Para los pacientes y el público general, el estudio ilustra dos reglas de lectura. Primero, «la IA muestra dónde mira» sugiere que señala tu tumor, cuando aquí señala el órgano. Segundo, «entrenado con 1,2 millones de imágenes» oculta que las etiquetas las escribieron otras IA, no médicos — una distinción que lo cambia todo al juzgar la fiabilidad.

Para saber más

El preprint está disponible en arXiv (2606.20477), con una página de proyecto dedicada (radgrounder.github.io); la herramienta de segmentación automática usada para el anclaje es TotalSegmentator. Sobre los modelos de visión-lenguaje clínicos y sus trampas, véase nuestro análisis de un modelo donde el texto domina la imagen; sobre la adaptación de modelos de radiología con pocos datos, el de PromptRad; y sobre los grandes modelos de lenguaje en radiología, el del formato de explicación de GPT-4.

Transparencia editorial: versión francesa redactada y firmada por la redacción de Tatakoto a partir de la lectura del preprint. Traducciones al inglés, español y chino producidas con asistencia de IA y revisadas.