RadGrounder : un modèle vision-langage pour la radiologie qui montre où il regarde, entraîné sur 1,2 million de coupes sans annotation manuelle

Une équipe des universités de Freiburg et d'Aarhus présente RadGrounder, un modèle vision-langage qui rédige un compte rendu radiologique, répond à des questions sur une image et — surtout — désigne sur la coupe de scanner ou d'IRM la structure dont il parle. Sa vraie contribution n'est pas un score record mais une méthode de fabrication de données : 1,2 million de paires image-texte et 9,6 millions de questions-réponses ont été générées automatiquement, sans annotation manuelle, en faisant travailler d'autres modèles de langage sur les comptes rendus d'un seul hôpital. Le résultat rivalise avec les meilleurs modèles médicaux existants sur deux jeux de questions publics — mais l'ancrage spatial ne pointe que des organes, jamais les lésions, et toute la chaîne d'entraînement repose sur des étiquettes produites par des IA que jamais un radiologue n'a vérifiées.

Le contexte

Un modèle vision-langage (en anglais vision-language model, VLM) est un système qui prend une image en entrée et produit du texte en sortie : décrire un cliché, répondre à une question posée en langage naturel. En radiologie, ces modèles promettent d'aider à rédiger les comptes rendus et à interroger une image. Leur défaut le plus documenté est l'hallucination : le modèle affirme avec assurance quelque chose qui n'est pas dans l'image — une lésion inexistante, une localisation inventée.

Une piste pour discipliner ces modèles est l'ancrage spatial (grounding) : forcer le système à désigner, par une boîte englobante ou un masque, la région précise de l'image sur laquelle porte son affirmation. Une sortie « ancrée » est vérifiable — on peut regarder si le modèle pointe le bon endroit. Le problème pratique est le coût : entraîner un modèle à l'ancrage exige normalement que des radiologues tracent à la main des milliers de boîtes sur des images, un travail lent et cher. C'est ce verrou que ce préprint cherche à faire sauter, en fabriquant ces annotations automatiquement plutôt qu'à la main.

La méthode

Le cœur du travail est un jeu de données, RefRad2D, construit à partir des archives cliniques d'un centre hospitalo-universitaire (Freiburg, Allemagne) couvrant une décennie de pratique. Il réunit 1,2 million de paires image-texte tirées de 945 000 coupes de scanner (CT) et 321 000 coupes d'IRM. Les modèles travaillent ici sur des coupes individuelles en deux dimensions, pas sur les volumes 3D entiers.

La fabrication des étiquettes est presque entièrement automatisée, et c'est le point décisif. Les comptes rendus, rédigés en allemand, sont traduits en anglais par le modèle Gemma 3 (27 milliards de paramètres), la qualité de traduction étant affinée en utilisant un autre modèle, GPT-OSS (120 milliards de paramètres), comme juge. Ce même GPT-OSS réécrit ensuite les légendes pour retirer les références temporelles (« la lésion a grossi depuis le dernier examen ») qui n'ont pas de sens sur une image unique et poussent le modèle à halluciner. Un sous-ensemble de questions-réponses — environ 9,6 millions de paires — est généré par Gemma 3, à raison de plusieurs questions par image (ouvertes, oui/non, choix multiples).

Pour l'ancrage, les auteurs n'emploient aucun radiologue : ils passent les volumes par TotalSegmentator, un outil automatique qui segmente les organes, produisant des masques pour 117 catégories anatomiques au scanner et 50 à l'IRM, harmonisées en 121 classes. GPT-OSS repère dans chaque légende les mentions d'anatomie et les relie aux masques correspondants ; on ne garde une image que si texte et masque parlent bien de la même structure. Ce filtrage produit 236 157 coupes annotées spatialement.

Le modèle lui-même, baptisé RadGrounder, est bâti sur PaliGemma 2 (3 milliards de paramètres) : un encodeur visuel SigLIP (adapté au domaine médical puis gelé, c'est-à-dire figé pendant l'entraînement final) transforme l'image en jetons, qu'un décodeur de langage Gemma-2B lit à côté du texte. L'astuce d'ancrage est de traiter la détection comme de la génération de texte : les coordonnées d'une boîte sont découpées en 512 valeurs discrètes que le modèle « écrit » comme des mots. L'entraînement complet tient sur un seul GPU H100 en environ deux jours et demi.

L'évaluation combine un jeu de test interne (issu de RefRad2D) et surtout deux jeux publics externes, Slake et VQA-RAD, qui servent de référence pour la réponse à questions en imagerie médicale. Les métriques : le CIDEr (qualité de la description), le F1 (moyenne harmonique entre précision et rappel), l'exactitude sur les questions fermées, et le G-IoU, une mesure de recouvrement entre la boîte prédite et la vraie région. Un score automatique de qualité, le LLMScore (Gemma 3 servant de juge), a été validé contre trois radiologues sur 200 questions.

Les résultats

Sur les benchmarks externes, RadGrounder tient la comparaison avec les meilleurs modèles médicaux. Sur Slake, il atteint un F1 de 87,7 et une exactitude de 90,3 % sur les questions fermées — au coude à coude avec BiomedGPT-B (85,2 et 89,9 %) et LLaVA-Med (86,8 % d'exactitude), et au-dessus de Med-Gemini (75,8 de F1) et de MedGemma (72,3). Sur VQA-RAD, plus difficile, il obtient le meilleur F1 en questions ouvertes parmi les modèles comparés (50,7) mais une exactitude en questions fermées plus modeste (64,7 %). Pour l'ancrage, la variante par génération de texte l'emporte sur une variante à tête de segmentation dédiée : G-IoU de 43,6 contre 36,9.

La traduction clinique impose de la mesure. Un G-IoU de 43,6 signifie que la boîte prédite recouvre en moyenne moins de la moitié de la région cible : c'est correct pour une preuve de concept, loin d'une localisation fiable. Et cet ancrage porte sur des organes entiers, pas sur les anomalies. Le modèle sait pointer « le foie », pas « la tumeur du foie ». Côté métrologie, la validation du LLMScore est soignée — accord inter-radiologues de 0,958 (Krippendorff), corrélation de 0,977 entre le score automatique et la moyenne humaine — mais elle a été mesurée sur un petit échantillon externe, pas sur la distribution des questions fabriquées par le modèle lui-même.

Ce qui est bien

Un moteur de données qui supprime l'annotation manuelle. Produire 1,2 million de paires image-texte, 9,6 millions de questions-réponses et 236 000 coupes ancrées sans qu'un humain trace la moindre boîte, sur un unique GPU en deux jours et demi, est une contribution méthodologique réelle et reproductible. Le détail consistant à retirer automatiquement les références temporelles des légendes est une parade astucieuse à une cause connue d'hallucination.

L'ancrage spatial comme discipline anti-hallucination. Obliger un modèle à désigner la région qui justifie son affirmation est la bonne direction pour rendre ses sorties vérifiables. Le choix de traiter la détection comme de la génération de texte, plus simple qu'une tête de segmentation dédiée, s'avère aussi plus performant ici (43,6 contre 36,9 de G-IoU), ce qui simplifie l'architecture.

Une évaluation méthodologiquement propre. Intervalles de confiance par bootstrap sur 10 000 rééchantillonnages, validation du score automatique contre trois radiologues, et surtout correction d'un piège connu : VQA-RAD contient des images partagées entre entraînement et test, une fuite de données (contamination du test par l'entraînement, qui gonfle les scores) ; les auteurs adoptent une découpe assainie pour l'éviter. C'est le genre de rigueur souvent absent de la littérature.

Ce qui est moins bien

Des étiquettes fabriquées par des IA, jamais vérifiées par un radiologue : le mode d'échec du comparateur et de la vérité de terrain absents. Traductions, réécritures de légendes, 9,6 millions de questions-réponses, masques d'organes, appariement texte-image — tout est produit par Gemma 3, GPT-OSS et TotalSegmentator. Aucune vérité de terrain humaine ne valide ces triplets. Toute erreur systématique de ces modèles enseignants est apprise puis intégrée par l'élève, et le plafond de qualité de RadGrounder est celui de ses générateurs, pas celui d'un radiologue.

L'ancrage ne pointe que l'anatomie, pas la pathologie : un raccourci qui affaiblit la promesse. TotalSegmentator segmente des organes, donc le « montre où il regarde » désigne des structures normales, pas les lésions — précisément ce qu'un clinicien voudrait voir localisé. La vérifiabilité annoncée est donc bien plus faible qu'il n'y paraît, et un G-IoU de 43,6 reste modeste même sur ces cibles anatomiques faciles.

Une métrique en partie circulaire et un biais de population. Le LLMScore utilise Gemma 3, la même famille de modèle qui a généré les questions d'entraînement, pour juger les réponses — un risque de métrique trompeuse par complaisance, que la validation sur 200 items externes n'écarte pas complètement. S'ajoutent un biais de population (un seul hôpital allemand, un anglais de traduction automatique et non natif), une évaluation limitée à des benchmarks sans étude clinique prospective, et une absence de mise à disposition : code annoncé « à la publication » mais non publié à ce jour, données non partagées, licence non précisée.

Ce que ça change

Pour la communauté de recherche, le vrai apport est le moteur de données : un patron reproductible pour construire des jeux d'entraînement ancrés en radiologie sans budget d'annotation, et une manière élégante de faire de la détection par génération de texte. C'est un outil que d'autres équipes réutiliseront, à condition d'être conscientes qu'elles héritent aussi des biais des modèles générateurs.

Pour les cliniciens, rien n'est déployable aujourd'hui : l'ancrage porte sur des organes et non sur les anomalies, l'évaluation reste cantonnée à des jeux de questions, les données viennent d'un seul centre, et les poids ne sont pas disponibles. Pour les patients et le grand public, l'étude illustre deux règles de lecture. D'abord, « l'IA montre où elle regarde » laisse entendre qu'elle pointe votre tumeur, alors qu'ici elle pointe l'organe. Ensuite, « entraîné sur 1,2 million d'images » masque que les étiquettes ont été écrites par d'autres IA, pas par des médecins — une distinction qui change tout pour juger de la fiabilité.

Pour aller plus loin

Le préprint est disponible sur arXiv (2606.20477), avec une page de projet dédiée (radgrounder.github.io) ; l'outil de segmentation automatique utilisé pour l'ancrage est TotalSegmentator. Sur les modèles vision-langage cliniques et leurs pièges, voir notre décryptage d'un modèle où le texte domine l'image ; sur l'adaptation de modèles de radiologie à peu de données, celui de PromptRad ; et sur les grands modèles de langage en radiologie, celui du format d'explication de GPT-4.

Transparence éditoriale : version française rédigée et signée par la rédaction de Tatakoto à partir de la lecture du préprint. Traductions anglaise, espagnole et chinoise produites avec assistance IA et relues.