Tres minutos de vídeo contra la paradoja de los falsos positivos: 34 radiólogos y la aceptación de alertas falsas de IA reducida a la mitad

Treinta y cuatro radiólogos de diez países fueron asignados al azar a dos grupos y leyeron las mismas 20 angiografías por resonancia magnética cerebral, cada una con una alerta de aneurisma generada por un programa comercial — 18 de esas alertas eran falsas. El grupo que había visto tres minutos de vídeo sobre la paradoja de los falsos positivos aceptó el 12,7 % de las alertas falsas frente al 22,5 % del grupo control, y recomendó una prueba de seguimiento en el 39,2 % de los casos frente al 54,9 %. La cifra más elocuente del artículo está en otro sitio: antes de cualquier lectura, los 34 participantes estimaban de media en 62,9 % la probabilidad de que una alerta de la IA correspondiera a un aneurisma real, cuando la simulación a partir de los rendimientos publicados da 15,4 %.

El contexto

Una prueba diagnóstica puede ser excelente y equivocarse la mayoría de las veces cuando dice «sí». Es la paradoja de los falsos positivos: en una población donde la enfermedad es rara, incluso una sensibilidad (proporción de enfermos correctamente detectados) y una especificidad (proporción de sanos correctamente descartados) elevadas producen más alertas falsas que verdaderas. La magnitud que importa entonces no es ninguna de las dos, sino el valor predictivo positivo (VPP): entre todos los casos señalados, qué fracción es realmente positiva. El VPP depende de la prevalencia, no solo del modelo.

Es un caso particular del descuido de la tasa base (base-rate neglect), el sesgo cognitivo que consiste en razonar sobre la información propia del caso olvidando la frecuencia general del suceso. Aplicado a la radiología asistida por IA, alimenta el sesgo de automatización — la tendencia a alinearse en exceso con la salida del algoritmo, documentada sobre todo entre lectores poco experimentados. Los autores citan un precedente concreto: una herramienta de urgencias para detectar oclusión de gran vaso fue retirada por producir «demasiados» falsos positivos, pese a una sensibilidad del 100 % y una especificidad del 92 %; el verdadero responsable era la prevalencia del 4 %.

Hasta ahora, la literatura sobre calibración de la confianza ha trabajado sobre todo del lado de la máquina: explicabilidad, cuantificación de incertidumbre, mejor presentación de las salidas. El lado humano — formar al lector, desactivar el sesgo antes de que actúe — ha quedado marginal. El aneurisma intracraneal en angio-RM de tiempo de vuelo (TOF-MRA, una secuencia que hace visible la sangre circulante sin inyección de contraste) es un terreno ideal para probar esa vía: la prevalencia en adultos ronda el 3,2 %, las lesiones son pequeñas, a menudo incidentales, y las imitan con frecuencia variantes normales — bucles vasculares, infundíbulos, arterias perforantes.

El método

El dispositivo. Ensayo controlado aleatorizado prospectivo y multinacional, preregistrado en el registro alemán de ensayos clínicos (DRKS00038740, registrado el 16 de diciembre de 2025), aprobado por el comité de ética de la Universidad Técnica de Múnich, con exención del consentimiento del paciente y consentimiento electrónico de los lectores. Inclusiones entre diciembre de 2025 y mayo de 2026.

Los lectores. Treinta y cuatro radiólogos de diez países, reclutados a través del servicio local, las redes profesionales de los autores y la Sociedad Europea de Neurorradiología. Criterio de entrada: al menos seis meses de experiencia leyendo RM cerebral. Distribución por nivel: 16 residentes, 8 fellows o radiólogos generales, 10 neurorradiólogos certificados. Aleatorización 1:1 estratificada por nivel de experiencia, mediante script automático al inicio de la sesión — 17 en control, 17 en intervención, con distribuciones de experiencia idénticas en cada rama. Ningún abandono tras la aleatorización. Población mayoritariamente masculina (26/34), alemana (23/34) y universitaria (29/34); experiencia media 8,2 ± 8,8 años (control) frente a 6,7 ± 4,8 años (intervención).

La intervención. Un vídeo de tres minutos, una presentación de diapositivas narrada, visto antes de la sesión solo por el grupo de intervención. Recuerda los rendimientos publicados de las herramientas de IA para detectar aneurismas, explica la paradoja de los falsos positivos como una brecha entre exactitud diagnóstica y valor predictivo debida a la prevalencia, y ofrece rangos realistas de VPP. No aparece ningún caso del estudio ni se proporciona entrenamiento específico. El grupo control pasaba directamente a la lectura, sin material introductorio. El vídeo es público.

Los casos. Veinte TOF-MRA 3D anonimizadas, adquiridas entre 2021 y 2023 en una consulta radiológica ambulatoria donde un programa comercial de detección de aneurismas (mdbrain versión 4, mediaire GmbH, Berlín) se usa en rutina. Cada estudio lleva exactamente una alerta de IA, de diámetro medio 2,2 ± 1,2 mm. El conjunto fue muestreado a propósito para alcanzar un VPP del 10 %: 2 verdaderos positivos, 18 falsos positivos. Los falsos positivos corresponden a bucles vasculares (7/18), infundíbulos (3/18) y perforantes (3/18). No hay ningún falso negativo de la IA. Doce de los veinte casos proceden de un estudio anterior del mismo equipo. Los lectores desconocían la composición del conjunto y no recibían retroalimentación caso por caso.

La sesión. Antes de cualquier lectura — y, en la rama de intervención, antes del vídeo — cada lector estimaba el VPP de una herramienta de IA para detección de aneurismas en una escala ordinal de cinco puntos en tramos del 20 %. Después, para cada uno de los 20 casos presentados en orden aleatorio, veía sucesivamente la serie anotada por la IA y la serie sin anotar, y registraba (1) la probabilidad de aneurisma real en una escala de 4 puntos, de «excluido» a «cierto», y (2) una conducta entre tres: sin seguimiento, RM de control o angiografía por sustracción digital (DSA, prueba invasiva). Todas las lecturas de ambas ramas se hicieron con asistencia de IA; los autores renunciaron deliberadamente a una lectura no asistida de referencia para limitar la carga de los participantes.

Variables y análisis. Dos variables principales preespecificadas: tasa de aceptación de falsos positivos e intensidad del seguimiento (escala ordinal ninguno < RM < DSA). Modelos mixtos con efectos aleatorios cruzados de lector y caso — modelo logístico generalizado para la aceptación, modelos de enlace acumulativo para las valoraciones y el seguimiento, con la rama y la experiencia como efectos fijos. Sin cálculo de potencia a priori — no había tamaños de efecto comparables disponibles —, sin corrección por comparaciones múltiples, contrastes unilaterales de superioridad, alfa en 0,05. Los propios autores califican el diseño de exploratorio.

El VPP de referencia. Para disponer de un punto de comparación, los autores propagaron mediante simulación de Monte Carlo (2 000 000 de extracciones) la incertidumbre de tres parámetros publicados: prevalencia del aneurisma 3,2 % [1,9–5,2], sensibilidad 91,2 % [82,2–95,8] y especificidad 83,5 % [72,9–90,6] procedentes de un metaanálisis.

Los resultados

La brecha de partida. La simulación da un VPP del 15,4 % [8,1–28,0] — aproximadamente una alerta de cada seis corresponde a un aneurisma real. Los lectores estimaban de media 62,9 % (65,3 % en la rama control, 60,6 % en la de intervención). Veintitrés de 34 (67,6 %) situaban el VPP por encima del 60 %, siete (20,6 %) por encima del 80 %, y solo dos (5,9 %) por debajo del 20 %. Es un error de un factor cuatro en profesionales cuyo oficio es precisamente ese.

Primera variable: la aceptación de falsos positivos. En datos brutos, sobre 306 lecturas de falsos positivos por rama (17 lectores × 18 casos), el grupo de intervención valoró «aneurisma probable» 42 veces (13,7 %) y «cierto» 19 veces (6,2 %), frente a 62 (20,3 %) y 26 (8,5 %) en el grupo control. En el modelo mixto, la probabilidad de aceptación resulta del 12,7 % [6,0–25,0] frente al 22,5 % [11,6–39,2], una razón de momios de 0,50 (límite superior del intervalo al 95 %: 0,95; p unilateral = 0,017). El modelo ordinal sobre las valoraciones apunta en la misma dirección (OR 0,53; p = 0,036). La experiencia no fue un predictor significativo (p = 0,302), y la varianza entre casos (σ² = 1,49) superó la varianza entre lectores (σ² = 0,76): el caso pesa más que la persona que lo lee.

Segunda variable: la intensidad del seguimiento. Para los falsos positivos, la rama de intervención recomendó RM de control en el 21,9 % de los casos (67/306) frente al 32,0 % (98/306), y DSA en el 17,3 % (53/306) frente al 22,9 % (70/306) — es decir, seguimiento recomendado en total en el 39,2 % (120/306) frente al 54,9 % (168/306). OR 0,47 (límite superior 0,81; p unilateral = 0,014). También aquí la experiencia no fue predictiva (p = 0,210), y la mayor diferencia se observa en generalistas y fellows (29 puntos porcentuales).

Variables secundarias. La sensibilidad fue del 97,1 % (33/34) en la rama de intervención frente al 82,4 % (28/34) en control — pero esos denominadores son 17 lectores × 2 verdaderos positivos, es decir, casi nada. Los hallazgos no señalados por la IA se juzgaron probables o ciertos en el 3,2 % de los casos (11/340) frente al 4,7 % (16/340). La calidad percibida de la herramienta fue menor en la rama de intervención (media 2,5 frente a 3,2 sobre 5), sin alcanzar la significación (p = 0,060); la disposición a usarla en rutina no difirió (p = 0,356). Los lectores de la rama de intervención juzgaron la influencia del vídeo entre moderada y fuerte (mediana 4/5).

Traducción clínica. Tomemos 1 000 pacientes cuya exploración lleva una alerta de IA, con el VPP realista del 15,4 %: unas 846 de esas alertas son falsas. Con el comportamiento del grupo control (54,9 % de seguimiento), serían alrededor de 464 pruebas de control innecesarias, de las cuales unas 194 angiografías. Con el comportamiento del grupo de intervención (39,2 %), unos 332 controles, de los cuales unas 146 angiografías. La diferencia — del orden de 130 pruebas y 48 angiografías evitadas por cada 1 000 pacientes señalados — es una extrapolación, no una medición de campo; da el orden de magnitud de lo que está en juego.

Lo que está bien

Es un ensayo aleatorizado de verdad, preregistrado, sobre una intervención gratuita. Aleatorización 1:1 estratificada por nivel de experiencia, asignación por script automático, preregistro en DRKS anterior a las inclusiones, variables principales preespecificadas, ningún abandono tras la aleatorización, modelos mixtos con efectos aleatorios cruzados de lector y caso — es decir, un análisis que reconoce que las 306 lecturas de una rama no son 306 observaciones independientes. En una literatura de IA en salud donde la comparación retrospectiva sobre benchmark público sigue siendo la norma, este nivel de rigor metodológico merece nombrarse.

La intervención no toca el modelo. Ni umbral, ni interfaz, ni reentrenamiento: tres minutos de vídeo genérico, transferibles tal cual a cualquier patología rara y a cualquier herramienta. Es la contribución reutilizable del artículo. Casi todo el trabajo sobre calibración de la confianza se ocupa de lo que muestra la máquina; aquí la variable manipulada es lo que el lector sabe antes de abrir el estudio — un desplazamiento conceptual que cuesta casi nada replicar. Y el vídeo está publicado.

Los autores desmontan su propio resultado más vendible. Escriben que la sensibilidad mantenida debe interpretarse con cautela dado el número de verdaderos positivos; que el grupo control pudo recalibrarse por la mera exposición repetida a falsos positivos — lo que atenuaría el efecto medido respecto de la práctica real; que la ausencia de lectura no asistida impide cuantificar el sesgo de automatización en términos absolutos; y que el estudio está infradimensionado para detectar la desconfianza excesiva que el vídeo podría inducir. Señalan además el efecto irónico: el mismo vídeo que mejora la calibración rebaja la calidad percibida de la herramienta. Sin financiación, y el fabricante del programa no intervino en el diseño, la selección de casos, el análisis ni la redacción, y no revisó el manuscrito.

Lo que está menos bien

El conjunto de casos hace que la variable principal salga casi gratis — y vuelve invisible su coste. El 90 % de las alertas presentadas son falsas. En ese régimen, todo lo que vuelve más escéptico a un lector mejora mecánicamente la variable principal: basta un desplazamiento de umbral, sin ninguna mejora de la discriminación (la capacidad de separar verdaderos de falsos). Pero el precio de ese escepticismo se pagaría sobre los verdaderos positivos, y hay dos. El 97,1 % frente al 82,4 % de sensibilidad se apoya en 34 lecturas por rama y un aneurisma perdido de diferencia. Un diseño que mide el beneficio sobre 306 observaciones y el coste sobre 34 no permite concluir sobre el balance neto. Es el modo de fallo de la métrica engañosa, aplicado no a un modelo sino a un protocolo.

El comparador es «nada en absoluto», no otra intervención. El grupo control no recibió material introductorio. El efecto medido mezcla por tanto el contenido del vídeo con todo lo que lo acompaña: el cebado, la atención prestada a la tarea y, sobre todo, un efecto de demanda difícil de descartar — un lector que acaba de ver tres minutos sobre alertas falsas y enlaza inmediatamente con una sesión de lectura puede adivinar qué se espera de él. Los autores señalan que los participantes desconocían la hipótesis y la existencia de la otra rama, pero la rama de intervención evidentemente no estaba cegada a su propia asignación. Un comparador activo — un vídeo de igual duración sobre variantes normales, o el VPP mostrado en la interfaz — habría permitido separar el mecanismo de su envoltorio. Como en el caso de la ecografía abdominal con IA integrada, la elección del comparador determina aquí la mitad del resultado.

Muestra modesta, población estrecha, datos cerrados. Treinta y cuatro lectores, 23 de ellos en Alemania (67,6 %) y 29 en instituciones universitarias (85,3 %): la generalización a la radiología extrahospitalaria, a otros sistemas de formación o a otras culturas de uso de la IA no está ni probada ni asegurada — un sesgo de población clásico, aquí del lado de los humanos evaluados. Sin cálculo de potencia a priori, contrastes unilaterales, sin corrección de multiplicidad, y límites superiores de intervalo de 0,95 y 0,81 que rozan la unidad: ambas variables principales son estadísticamente significativas, pero frágiles. Doce de los veinte casos proceden de un estudio anterior del mismo equipo. Por último, los datos a nivel de lector y el código estadístico solo están disponibles «previa solicitud razonable a los autores» — es decir, no son abiertos. Un autor declara ser accionista de Bonescreen GmbH y haber recibido honorarios de Bracco y Novartis; los demás no declaran nada.

Lo que esto cambia

Para la comunidad investigadora. Este artículo desplaza la variable de intervención. Mientras se trabaje sobre lo que el modelo muestra — mapa de saliencia, puntuación de confianza, intervalo de incertidumbre —, se supone que el problema es un déficit de información. Aquí la hipótesis puesta a prueba es que el problema es un déficit de marco: los lectores ya disponían de la sensibilidad y la especificidad, y aun así erraban por un factor cuatro en el VPP, porque esos dos números no bastan para calcularlo. La continuación natural es un diseño que este estudio no ofrece: comparador activo, conjunto de casos con prevalencia realista en lugar de enriquecida, suficientes verdaderos positivos para medir el coste, y una medición diferida — tres minutos de vídeo, ¿cuánto duran? El artículo no lo dice, y es la pregunta más importante para quien piense convertirlo en formación.

Para los clínicos. El resultado inmediatamente utilizable no es el vídeo, es la cifra de partida: 62,9 % frente a 15,4 %. Significa que un radiólogo medio sobrestima en un factor cuatro la fiabilidad de una alerta de IA sobre una patología rara, y no hay razón para pensar que esto se detenga en los aneurismas — un análisis transversal reciente de 38 dispositivos de IA radiológica autorizados por la FDA encuentra VPP clínicamente esperados por debajo del 50 % para la mayoría de las patologías diana, pese a sensibilidades y especificidades ambas superiores al 90 %. Las dos recomendaciones concretas de los autores son mostrar un rango de valor predictivo junto a la salida del modelo — existe una calculadora pública del American College of Radiology para ello — y activar la IA en cohortes con probabilidad pretest más alta en lugar de en toda exploración técnicamente elegible. La lógica es la misma que para la calibración de una puntuación pronóstica en cuidados intensivos: un rendimiento de discriminación no dice nada sobre la conducta a seguir mientras no se cruce con la prevalencia.

Para los pacientes y el público. La intuición dominante sostiene que una IA médica «precisa al 90 %» se equivoca una vez de cada diez. Este artículo muestra que en una enfermedad rara, la misma IA puede equivocarse cinco de cada seis veces cuando señala algo — y que los propios profesionales no lo saben. La consecuencia no es un diagnóstico perdido, es lo contrario: controles, resonancias repetidas, angiografías, inquietud, por bucles vasculares perfectamente normales. Esa es la cara administrativa y ansiógena de la IA en salud, menos espectacular que el error diagnóstico pero mucho más frecuente. La misma mecánica explica por qué los rendimientos anunciados en el cribado mamográfico se degradan en cuanto se abandonan las condiciones del benchmark. Y queda la contrapartida que los autores asumen: informar mejor a los radiólogos los vuelve menos entusiastas ante herramientas que, en un contexto de mayor prevalencia, serían útiles. Una confianza calibrada no es siempre una confianza mayor.

Para saber más

El preprint: A 3-Minute Education on the False Positive Paradox Improves Trust Calibration in AI-Assisted Intracranial Aneurysm Detection: A Multinational Randomized Controlled Reader Study, medRxiv, DOI 10.64898/2026.08.25.26361324, publicado el 28 de agosto de 2026. Autores: Su Hwan Kim, Bastien Le Guellec, Paula Roßmüller, Severin Schramm y cols., con Benedikt Wiestler y Dennis M. Hedderich como últimos autores — Universidad Técnica de Múnich, CHU de Lille, RWTH Aquisgrán, Colonia, Ratisbona, Berlín, Brown University. Estudio preregistrado: DRKS00038740. El vídeo de tres minutos usado como intervención es de acceso público. El programa evaluado es mdbrain versión 4 (mediaire GmbH, Berlín); el fabricante no intervino en el estudio. Sin financiación. El conjunto de datos a nivel de lector y el código estadístico están disponibles previa solicitud al autor de correspondencia, pero no están publicados.