Trois minutes de vidéo contre le paradoxe des faux positifs : 34 radiologues, et l'acceptation des fausses alertes IA divisée par deux

Trente-quatre radiologues de dix pays ont été tirés au sort en deux groupes, puis ont relu les mêmes 20 angio-IRM cérébrales portant chacune une alerte d'anévrisme produite par un logiciel commercial — 18 de ces alertes étant fausses. Le groupe qui avait regardé trois minutes de vidéo sur le paradoxe des faux positifs a accepté 12,7 % des fausses alertes contre 22,5 % dans le groupe témoin, et recommandé un examen de suivi dans 39,2 % des cas contre 54,9 %. Le chiffre le plus parlant du papier est ailleurs : avant toute lecture, les 34 participants estimaient en moyenne à 62,9 % la probabilité qu'une alerte de l'IA corresponde à un vrai anévrisme, alors que la simulation à partir des performances publiées donne 15,4 %.

Le contexte

Un test diagnostique peut être excellent et se tromper la plupart du temps quand il dit « oui ». C'est le paradoxe des faux positifs : dans une population où la maladie est rare, même une sensibilité (proportion de malades correctement détectés) et une spécificité (proportion de non-malades correctement écartés) élevées produisent plus de fausses alertes que de vraies. La quantité qui compte alors n'est ni l'une ni l'autre, mais la valeur prédictive positive (VPP) : parmi tous les cas signalés, quelle fraction est réellement positive. La VPP dépend de la prévalence, pas seulement du modèle.

C'est un cas particulier de la négligence du taux de base (base-rate neglect), le biais cognitif qui consiste à raisonner sur l'information propre au cas en oubliant la fréquence générale de l'événement. Appliqué à la radiologie assistée par IA, il alimente le biais d'automatisation — la tendance à s'aligner excessivement sur la sortie de l'algorithme, documentée surtout chez les lecteurs peu expérimentés. Les auteurs citent un précédent concret : un outil d'urgence pour la détection d'occlusion de gros vaisseau a été retiré du service pour « trop de faux positifs », alors que sa sensibilité était de 100 % et sa spécificité de 92 % ; le vrai responsable était la prévalence de 4 %.

Jusqu'ici, la littérature sur la calibration de la confiance a surtout travaillé côté machine : explicabilité, quantification d'incertitude, meilleure présentation des sorties. Le côté humain — former le lecteur, désamorcer le biais avant qu'il n'agisse — est resté marginal. L'anévrisme intracrânien en angio-IRM temps de vol (TOF-MRA, une séquence qui rend le sang circulant visible sans injection) est un terrain idéal pour tester cette piste : la prévalence chez l'adulte tourne autour de 3,2 %, les lésions sont petites, souvent fortuites, et régulièrement imitées par des variantes normales — boucles vasculaires, infundibula, artères perforantes.

La méthode

Le dispositif. Essai contrôlé randomisé prospectif et multinational, préenregistré au registre allemand des essais cliniques (DRKS00038740, enregistré le 16 décembre 2025), approuvé par le comité d'éthique de l'Université technique de Munich, consentement patient levé, consentement électronique des lecteurs. Inclusions entre décembre 2025 et mai 2026.

Les lecteurs. Trente-quatre radiologues de dix pays, recrutés via le service local, les réseaux professionnels des auteurs et la Société européenne de neuroradiologie. Critère d'entrée : au moins six mois d'expérience en lecture d'IRM cérébrale. Répartition par niveau : 16 internes, 8 chefs de clinique ou radiologues généraux, 10 neuroradiologues certifiés. Randomisation 1:1 stratifiée sur le niveau d'expérience, par script automatique au début de la session — 17 en groupe témoin, 17 en groupe intervention, avec une distribution d'expérience identique dans chaque bras. Aucun retrait après randomisation. Population majoritairement masculine (26/34), allemande (23/34) et universitaire (29/34) ; expérience moyenne 8,2 ± 8,8 ans (témoin) contre 6,7 ± 4,8 ans (intervention).

L'intervention. Une vidéo de trois minutes, un diaporama commenté, visionnée avant la session par le seul groupe intervention. Elle rappelle les performances publiées des outils IA de détection d'anévrisme, explique le paradoxe des faux positifs comme un écart entre exactitude diagnostique et valeur prédictive dû à la prévalence, et donne des fourchettes de VPP réalistes. Aucun cas de l'étude n'y figure, aucun entraînement spécifique aux cas n'est fourni. Le groupe témoin passait directement à la lecture, sans matériel introductif. La vidéo est publique.

Les cas. Vingt TOF-MRA 3D anonymisées, acquises entre 2021 et 2023 dans un cabinet de radiologie de ville où un logiciel commercial de détection d'anévrisme (mdbrain version 4, mediaire GmbH, Berlin) est utilisé en routine. Chaque examen porte exactement une alerte IA, de diamètre moyen 2,2 ± 1,2 mm. Le jeu a été échantillonné à dessein pour atteindre une VPP de 10 % : 2 vrais positifs, 18 faux positifs. Les faux positifs correspondent à des boucles vasculaires (7/18), des infundibula (3/18) et des perforantes (3/18). Aucun faux négatif de l'IA n'est présent. Douze des vingt cas proviennent d'une étude antérieure de la même équipe. Les lecteurs ignoraient la composition du jeu et ne recevaient aucun retour cas par cas.

La session. Avant toute lecture — et, pour le bras intervention, avant la vidéo — chaque lecteur estimait la VPP d'un outil IA de détection d'anévrisme sur une échelle ordinale à cinq points par tranches de 20 %. Puis, pour chacun des 20 cas présentés dans un ordre aléatoire, il voyait successivement la série annotée par l'IA et la série brute, puis notait (1) la probabilité d'un vrai anévrisme sur une échelle à 4 points, de « exclu » à « certain », et (2) une conduite parmi trois : pas de suivi, IRM de contrôle, ou artériographie (DSA, examen invasif). Toutes les lectures des deux bras se faisaient avec assistance IA ; les auteurs ont délibérément renoncé à une lecture non assistée de référence pour limiter la charge des participants.

Les critères et l'analyse. Deux critères principaux préspécifiés : taux d'acceptation des faux positifs, et intensité du suivi (échelle ordinale rien < IRM < artériographie). Modèles mixtes à effets aléatoires croisés lecteur et cas — modèle logistique généralisé pour l'acceptation, modèles à lien cumulatif pour les notes et le suivi, avec le bras et l'expérience en effets fixes. Aucun calcul de puissance a priori — aucune taille d'effet comparable n'était disponible — aucune correction pour comparaisons multiples, tests de supériorité unilatéraux, alpha à 0,05. Les auteurs qualifient eux-mêmes le design d'exploratoire.

La VPP de référence. Pour disposer d'un point de comparaison, les auteurs ont propagé par simulation de Monte-Carlo (2 000 000 de tirages) l'incertitude de trois paramètres publiés : prévalence de l'anévrisme 3,2 % [1,9–5,2], sensibilité 91,2 % [82,2–95,8] et spécificité 83,5 % [72,9–90,6] issues d'une méta-analyse.

Les résultats

L'écart de départ. La simulation donne une VPP de 15,4 % [8,1–28,0] — environ une alerte sur six correspond à un vrai anévrisme. Les lecteurs, eux, estimaient en moyenne 62,9 % (65,3 % dans le bras témoin, 60,6 % dans le bras intervention). Vingt-trois des 34 (67,6 %) plaçaient la VPP au-dessus de 60 %, sept (20,6 %) au-dessus de 80 %, et deux seulement (5,9 %) sous 20 %. C'est un écart d'un facteur quatre chez des professionnels dont c'est le métier.

Premier critère : l'acceptation des faux positifs. En données brutes, sur 306 lectures de faux positifs par bras (17 lecteurs × 18 cas), le groupe intervention a coté « anévrisme probable » 42 fois (13,7 %) et « certain » 19 fois (6,2 %), contre 62 (20,3 %) et 26 (8,5 %) dans le groupe témoin. Dans le modèle mixte, la probabilité d'acceptation ressort à 12,7 % [6,0–25,0] contre 22,5 % [11,6–39,2], soit un rapport de cotes de 0,50 (borne supérieure de l'intervalle à 95 % : 0,95 ; p unilatéral = 0,017). Le modèle ordinal sur les notes va dans le même sens (OR 0,53 ; p = 0,036). L'expérience n'était pas un prédicteur significatif (p = 0,302), et la variance entre cas (σ² = 1,49) dépassait la variance entre lecteurs (σ² = 0,76) : le cas compte davantage que la personne qui le lit.

Second critère : l'intensité du suivi. Pour les faux positifs, le groupe intervention a recommandé une IRM de contrôle dans 21,9 % des cas (67/306) contre 32,0 % (98/306), et une artériographie dans 17,3 % (53/306) contre 22,9 % (70/306) — soit un suivi recommandé au total dans 39,2 % (120/306) contre 54,9 % (168/306). OR 0,47 (borne supérieure 0,81 ; p unilatéral = 0,014). Là encore l'expérience n'est pas prédictive (p = 0,210), et l'écart le plus large s'observe chez les généralistes et chefs de clinique (29 points de pourcentage).

Critères secondaires. La sensibilité était de 97,1 % (33/34) dans le bras intervention contre 82,4 % (28/34) dans le témoin — mais ces dénominateurs valent 17 lecteurs × 2 vrais positifs, autant dire rien. Les découvertes non signalées par l'IA ont été jugées probables ou certaines dans 3,2 % des cas (11/340) contre 4,7 % (16/340). La qualité perçue de l'outil était plus basse dans le bras intervention (moyenne 2,5 contre 3,2 sur 5), sans atteindre le seuil de significativité (p = 0,060) ; la disposition à l'utiliser en routine ne différait pas (p = 0,356). Les lecteurs du bras intervention jugeaient l'influence de la vidéo modérée à forte (médiane 4/5).

Traduction clinique. Prenons 1 000 patients dont l'examen porte une alerte IA, à la VPP réaliste de 15,4 % : environ 846 de ces alertes sont fausses. Avec le comportement du groupe témoin (54,9 % de suivi), cela ferait environ 464 examens de contrôle inutiles, dont environ 194 artériographies. Avec le comportement du groupe intervention (39,2 %), environ 332 contrôles, dont environ 146 artériographies. L'écart — de l'ordre de 130 examens et 48 artériographies évités pour 1 000 patients signalés — est une extrapolation, pas une mesure de terrain ; il donne l'ordre de grandeur de ce qui se joue.

Ce qui est bien

C'est un vrai essai randomisé, préenregistré, sur une intervention gratuite. Randomisation 1:1 stratifiée par niveau d'expérience, allocation par script automatique, préenregistrement au DRKS antérieur aux inclusions, critères principaux préspécifiés, aucun retrait après randomisation, modèles mixtes avec effets aléatoires croisés lecteur et cas — c'est-à-dire une analyse qui reconnaît que les 306 lectures d'un bras ne sont pas 306 observations indépendantes. Dans une littérature IA-santé où la comparaison rétrospective sur benchmark public reste la norme, ce niveau de rigueur méthodologique mérite d'être nommé.

L'intervention ne touche pas au modèle. Ni seuil, ni interface, ni ré-entraînement : trois minutes de vidéo générique, transférables telles quelles à n'importe quelle pathologie rare et n'importe quel outil. C'est la contribution réutilisable du papier. La quasi-totalité du travail sur la calibration de la confiance porte sur ce que la machine affiche ; ici la variable manipulée est ce que le lecteur sait avant d'ouvrir l'examen — un déplacement conceptuel qui coûte à peu près rien à répliquer. Et la vidéo elle-même est publiée.

Les auteurs démontent leur propre résultat le plus vendeur. Ils écrivent que la sensibilité maintenue doit être interprétée avec prudence vu le nombre de vrais positifs, que le bras témoin a pu se recalibrer par simple exposition répétée aux faux positifs — ce qui atténuerait l'effet mesuré par rapport à la pratique réelle —, que l'absence de lecture non assistée empêche de quantifier le biais d'automatisation en valeur absolue, et que l'étude est sous-dimensionnée pour détecter une défiance excessive induite par la vidéo. Ils signalent aussi l'effet ironique : la même vidéo qui améliore la calibration abaisse la qualité perçue de l'outil. Aucun financement, et le fabricant du logiciel n'a joué aucun rôle dans le design, la sélection des cas, l'analyse ou la rédaction, et n'a pas relu le manuscrit.

Ce qui est moins bien

Le jeu de cas rend le critère principal presque gratuit — et son coût invisible. Quatre-vingt-dix pour cent des alertes présentées sont fausses. Dans ce régime, tout ce qui rend un lecteur plus sceptique améliore mécaniquement le critère principal : un déplacement de seuil suffit, sans aucune amélioration de la discrimination (la capacité à séparer vrais et faux). Or le prix de ce scepticisme se paierait sur les vrais positifs, et il y en a deux. Les 97,1 % contre 82,4 % de sensibilité reposent sur 34 lectures par bras et un anévrisme raté de différence. Un design qui mesure le bénéfice sur 306 observations et le coût sur 34 ne permet pas de conclure au bilan net. C'est le mode d'échec de la métrique trompeuse, appliqué non pas à un modèle mais à un protocole.

Le comparateur est « rien du tout », pas une autre intervention. Le bras témoin ne reçoit aucun matériel introductif. L'effet mesuré mélange donc le contenu de la vidéo avec tout ce qui l'accompagne : l'amorçage, l'attention portée à la tâche, et surtout un effet de demande difficile à écarter — un lecteur qui vient de regarder trois minutes sur les fausses alertes, puis enchaîne immédiatement sur une session de lecture, peut deviner ce qu'on attend de lui. Les auteurs notent que les participants ignoraient l'hypothèse et l'existence de l'autre bras, mais le bras intervention n'était évidemment pas aveugle à sa propre allocation. Un comparateur actif — une vidéo de même durée sur les variantes normales, ou l'affichage de la VPP dans l'interface — aurait permis de séparer le mécanisme de son emballage. Comme dans le cas de l'échographie abdominale à IA embarquée, le choix du comparateur détermine ici la moitié du résultat.

Effectif modeste, population étroite, données fermées. Trente-quatre lecteurs dont 23 en Allemagne (67,6 %) et 29 en institution universitaire (85,3 %) : la généralisation à la radiologie de ville, à d'autres systèmes de formation ou à d'autres cultures d'usage de l'IA n'est ni testée ni acquise — c'est un biais de population classique, ici du côté des humains évalués. Aucun calcul de puissance a priori, tests unilatéraux, aucune correction de multiplicité, et des bornes supérieures d'intervalle à 0,95 et 0,81 qui frôlent l'unité : les deux critères principaux sont statistiquement significatifs, mais fragiles. Douze des vingt cas proviennent d'une étude antérieure de la même équipe. Enfin, les données au niveau lecteur et le code statistique ne sont disponibles que « sur demande raisonnable aux auteurs » — c'est-à-dire pas ouvertes. Un auteur déclare être actionnaire de Bonescreen GmbH et avoir reçu des honoraires de Bracco et Novartis ; les autres ne déclarent rien.

Ce que ça change

Pour la communauté de recherche. Ce papier déplace la variable d'intervention. Tant que l'on travaille sur ce que le modèle affiche — carte de saillance, score de confiance, intervalle d'incertitude —, on suppose que le problème est un déficit d'information. Ici, l'hypothèse testée est que le problème est un déficit de cadre : les lecteurs disposaient déjà de la sensibilité et de la spécificité, et se trompaient quand même d'un facteur quatre sur la VPP, parce que ces deux nombres ne suffisent pas à la calculer. La suite naturelle est un design que cette étude ne fournit pas : comparateur actif, jeu de cas à prévalence réaliste plutôt qu'enrichi, suffisamment de vrais positifs pour mesurer le coût, et une mesure à distance — trois minutes de vidéo, cela dure combien de temps ? Le papier ne le dit pas, et c'est la question la plus importante pour quiconque envisagerait d'en faire une formation.

Pour les cliniciens. Le résultat immédiatement utilisable n'est pas la vidéo, c'est le chiffre de départ : 62,9 % contre 15,4 %. Il signifie qu'un radiologue moyen surestime d'un facteur quatre la fiabilité d'une alerte IA sur une pathologie rare, et qu'il n'y a aucune raison de penser que cela s'arrête aux anévrismes — une analyse transversale récente de 38 dispositifs d'IA radiologique autorisés par la FDA trouve des VPP cliniquement attendues sous 50 % pour la majorité des pathologies cibles, malgré des sensibilités et spécificités toutes deux supérieures à 90 %. Les deux recommandations concrètes des auteurs sont d'afficher une fourchette de valeur prédictive à côté de la sortie du modèle — un calculateur public de l'American College of Radiology existe pour cela — et de déclencher l'IA sur des cohortes à probabilité pré-test plus élevée plutôt que sur tout examen techniquement éligible. La logique est la même que pour la calibration d'un score pronostique en réanimation : une performance de discrimination ne dit rien de la conduite à tenir tant qu'on n'a pas croisé la prévalence.

Pour les patients et le public. L'intuition dominante veut qu'une IA médicale « précise à 90 % » se trompe une fois sur dix. Ce papier montre que sur une maladie rare, la même IA peut se tromper cinq fois sur six quand elle signale quelque chose — et que les professionnels eux-mêmes ne le savent pas. La conséquence n'est pas un diagnostic manqué, c'est l'inverse : des contrôles, des IRM répétées, des artériographies, une inquiétude, pour des boucles vasculaires parfaitement normales. C'est la face administrative et anxiogène de l'IA en santé, moins spectaculaire que l'erreur de diagnostic mais bien plus fréquente. La même mécanique explique pourquoi les performances affichées en dépistage mammographique se dégradent dès qu'on quitte les conditions du benchmark. Et il reste la contrepartie que les auteurs assument : mieux informer les radiologues les rend moins enthousiastes à l'égard d'outils qui, dans un contexte à plus forte prévalence, seraient utiles. Une confiance calibrée n'est pas toujours une confiance plus grande.

Pour aller plus loin

Le preprint : A 3-Minute Education on the False Positive Paradox Improves Trust Calibration in AI-Assisted Intracranial Aneurysm Detection: A Multinational Randomized Controlled Reader Study, medRxiv, DOI 10.64898/2026.08.25.26361324, mis en ligne le 28 août 2026. Auteurs : Su Hwan Kim, Bastien Le Guellec, Paula Roßmüller, Severin Schramm et coll., avec Benedikt Wiestler et Dennis M. Hedderich en derniers auteurs — Université technique de Munich, CHU de Lille, RWTH Aix-la-Chapelle, Cologne, Ratisbonne, Berlin, Brown University. Étude préenregistrée : DRKS00038740. La vidéo de trois minutes utilisée comme intervention est publiquement accessible. Le logiciel évalué est mdbrain version 4 (mediaire GmbH, Berlin) ; le fabricant n'a joué aucun rôle dans l'étude. Aucun financement. Le jeu de données au niveau lecteur et le code statistique sont disponibles sur demande auprès de l'auteur correspondant, mais ne sont pas publiés.