Neuro-VL : un modèle vision-langage entraîné sur près d'un million d'IRM et de scanners cérébraux du Michigan devance GPT-5.4 sur un banc d'essai construit par ses auteurs, sans comparaison avec des radiologues

Une équipe de l'Université du Michigan présente Neuro-VL, un modèle vision-langage qui lit des examens d'IRM et de scanner cérébral complets, répond à des questions, compare un examen au précédent et rédige un compte rendu, après un entraînement sur 961 683 examens issus des soins courants d'un seul système hospitalier. Sur un banc d'essai de près de 32 000 questions couvrant une cohorte interne et 24 jeux de données publics de 21 pays, il fait en moyenne 15,9 points de mieux que GPT-5.4 et résiste beaucoup mieux aux questions qui suggèrent une anomalie absente. Le travail est massif et ses poids sont publiés, mais l'essentiel de l'évaluation repose sur des questions et un juge générés par d'autres LLM, sans aucune comparaison avec des neuroradiologues : c'est un résultat de laboratoire solide, pas encore une preuve d'utilité clinique.

Le contexte

La neuroradiologie est l'un des terrains les plus étudiés de l'IA médicale, mais la plupart des outils déployés restent « mono-tâche » : un algorithme détecte une hémorragie sur un scanner, un autre segmente une tumeur sur une IRM. Les modèles vision-langage (VLM, vision-language models, qui associent un encodeur d'images à un grand modèle de langage capable de produire du texte) promettent autre chose : un système unique qui regarde l'examen entier et en parle, comme un radiologue qui dicte son compte rendu.

Deux obstacles freinent cette promesse. Les modèles généralistes comme GPT-5.4 ou Gemma 4 ont été conçus pour des images 2D et voient un examen en coupe par coupe, sans représentation native du volume. Et les modèles spécialisés sont souvent entraînés sur des corpus publics de quelques milliers d'examens. Le même laboratoire, le Machine Learning in Neurosurgery Lab dirigé par Todd Hollon, avait déjà publié NeuroVFM, un modèle de fondation (modèle pré-entraîné sur un très grand volume de données et réutilisable pour de nombreuses tâches) appris sur les données du système de santé Michigan Medicine. Neuro-VL en est le prolongement conversationnel. Le préprint, déposé sur arXiv le 11 novembre 2026 (41 pages), n'a pas encore été relu par des pairs.

La méthode

Les données d'entraînement sont celles des soins courants de Michigan Medicine : 961 683 examens (421 457 IRM et 540 226 scanners) chez 440 236 patients, acquis entre 1995 et 2025 sur des machines de plusieurs constructeurs. La séparation entre entraînement et test est temporelle (coupure en juillet 2025) et faite au niveau du patient, ce qui évite qu'un même patient apparaisse des deux côtés, une forme classique de fuite de données (data leakage). Au total : 911 506 examens d'entraînement, 1 552 de validation et 48 625 de test interne.

L'architecture combine un encodeur visuel de type ViT-Large (un vision transformer de 24 couches, qui découpe l'image en petits blocs et apprend les relations entre eux) et le modèle de langage Qwen3-8B (8 milliards de paramètres). Chaque volume est découpé en cubes de 6 × 16 × 16 voxels, chacun transformé en un vecteur numérique, un « jeton » visuel ; un petit réseau intermédiaire regroupe ces jetons quatre par quatre avant de les transmettre au modèle de langage. L'encodeur est d'abord pré-entraîné à partir des comptes rendus radiologiques résumés, puis l'ensemble est affiné sur environ 740 000 exemples de questions-réponses générés automatiquement par des modèles de la famille GPT-5 à partir des comptes rendus des radiologues. Une variante longitudinale, Neuro-VL-Longitudinal, apprend en plus à comparer un examen au précédent sur environ 155 000 paires d'examens (230 000 exemples, eux aussi générés par GPT-5).

L'évaluation passe par NeuroBench, un banc d'essai (benchmark) construit par les auteurs : la cohorte de test interne plus 24 jeux publics de 21 pays (dont MR-RATE, CTRG, CQ500, RSNA et un regroupement de 20 jeux d'IRM cérébrale), soit 31 975 questions fermées et 3 933 tâches de rédaction de compte rendu sur 10 481 examens. Pour les jeux qui disposent de comptes rendus, les questions à six choix ont été générées par des modèles GPT-5 ; pour les autres, elles dérivent des étiquettes diagnostiques et des segmentations disponibles. Les comparateurs sont GPT-5.4 (via l'API d'OpenAI, raisonnement « moyen »), Gemma 4 (exécuté localement) et NeuroVFM ; les modèles 2D reçoivent la suite de toutes les coupes de chaque série. Les comptes rendus sont comparés deux à deux par NeuroJudge, un juge automatique fondé sur le modèle gpt-oss-20B, dont l'accord avec trois experts cliniques a été mesuré sur 200 examens internes. Enfin, un volet de red-teaming (tests adversariaux) pose des questions piégées : demander de décrire un abcès sur un examen normal, ou les caractéristiques d'un « gliome » chez un patient qui a fait un infarctus cérébral.

Les résultats

Sur les questions fermées, en moyenne sur 17 combinaisons de tâches et de jeux de données, Neuro-VL dépasse GPT-5.4 de 15,9 points de pourcentage, Gemma 4 de 16,9 et NeuroVFM de 23,0 (p < 0,001 pour chaque comparaison). Il bat GPT-5.4 et Gemma 4 sur 16 des 17 groupes et NeuroVFM sur les 17. Sur les examens pédiatriques, il atteint 89,2 % de bonnes réponses, contre 61,8 % pour GPT-5.4 et 65,1 % pour Gemma 4. Pour la rédaction de comptes rendus, NeuroJudge préfère Neuro-VL 2,4 fois plus souvent qu'il ne préfère GPT-5.4, et 5,0 fois plus souvent face à Gemma 4.

En suivi longitudinal, la variante dédiée caractérise correctement l'évolution entre deux examens dans 87,5 % des cas (81,6 % pour GPT-5.4) et la trajectoire de la maladie dans 96,9 % (86,5 %). Sur le jeu public BraTS de gliomes, l'erreur absolue moyenne sur la taille des lésions est de 7 à 9 mm selon l'axe, un ordre de grandeur encore trop large pour remplacer une mesure manuelle lorsqu'une différence de quelques millimètres change la conduite à tenir.

Le résultat le plus parlant est celui des questions piégées. Sur 320 examens normaux, lorsque la question affirme une anomalie et sa localisation (« décrivez l'abcès à gauche »), Neuro-VL refuse d'inventer dans 97,3 % des cas, GPT-5.4 dans 51,4 %. Sur 246 IRM de gliome ou d'infarctus, quand la question avance un mauvais diagnostic, Neuro-VL reste juste dans 90,2 % des cas contre 44,5 % pour GPT-5.4, qui était pourtant à 99,6 % avec une question neutre.

Traduction concrète : sur 100 examens normaux soumis avec une question orientée, GPT-5.4 décrirait une lésion inexistante environ 49 fois, Neuro-VL environ 3 fois. Sur 1 000 questions fermées, l'écart moyen de 15,9 points représente environ 160 bonnes réponses de plus. Mais ces chiffres mesurent l'exactitude sur des questions à choix, pas la sensibilité ni la spécificité pour un diagnostic donné, et ne disent rien de ce que deviendrait la lecture d'un radiologue assisté par l'outil.

Ce qui est bien

Premièrement, l'échelle et la rigueur du découpage. Près d'un million d'examens issus des soins réels, IRM et scanner, sur trente ans et plusieurs constructeurs, avec une séparation temporelle et par patient : c'est nettement au-dessus de la plupart des modèles de neuro-imagerie publiés, et le découpage limite le risque de fuite de données entre entraînement et test interne.

Deuxièmement, une évaluation large et un vrai test de robustesse. Vingt-quatre jeux publics de 21 pays, des examens pédiatriques, du suivi longitudinal, et surtout un volet adversarial qui mesure la tendance d'un modèle à suivre une prémisse fausse, l'un des modes d'échec les plus dangereux des LLM en clinique. Montrer qu'un modèle généraliste très utilisé invente une lésion une fois sur deux lorsqu'on la lui suggère est un résultat utile en soi.

Troisièmement, l'ouverture. Le code (GitHub), les poids du modèle à 8 milliards de paramètres (Hugging Face) et le jeu NeuroBench sont publiés, sous licence CC BY-NC-SA 4.0 ; le code du benchmark est sous licence MIT. Le financement est principalement public et philanthropique (NIH, Chan Zuckerberg Initiative, fondations), et le protocole a été approuvé par le comité d'éthique de l'université.

Ce qui est moins bien

Premièrement, une chaîne d'évaluation circulaire, forme de métrique trompeuse. Les exemples d'entraînement et une partie des questions de test sont générés par des modèles GPT-5 à partir de comptes rendus ; les comptes rendus produits sont jugés par un autre LLM, gpt-oss-20B ; les tests adversariaux sont notés par ce même type de juge. Une partie de l'avantage peut donc venir de la familiarité de Neuro-VL avec le format et le style de questions générées de la même manière. L'accord du juge avec les experts n'est donné que dans une figure annexe, et le préprint ne rapporte pas de taux d'erreurs factuelles dans les comptes rendus, seulement des ratios de préférence. Par ailleurs, le texte ne précise pas si certains des jeux publics de NeuroBench ont été exclus de l'entraînement.

Deuxièmement, un comparateur biaisé. Aucun radiologue n'a passé le banc d'essai et aucune étude de lecteurs n'est rapportée : une étude d'interaction avec des cliniciens est annoncée comme en cours. Face à GPT-5.4 et Gemma 4, la comparaison oppose un modèle volumique spécialisé à des modèles 2D nourris de longues suites de coupes avec leurs réglages par défaut, une situation qui les désavantage structurellement. NeuroVFM, l'autre comparateur spécialisé, vient du même laboratoire. Le préprint dit « dépasser » des modèles de pointe ; il ne dit rien de la performance face à un neuroradiologue ni à un outil certifié de détection d'hémorragie.

Troisièmement, un biais de population possible et une transparence incomplète. Tout l'entraînement vient d'un seul système de santé du Midwest américain ; la démographie (âge, sexe, origine) n'est pas décrite dans le texte principal, les analyses par sous-groupes sont reléguées en annexe, et aucune analyse par constructeur ou protocole n'est rapportée. L'évaluation est entièrement rétrospective, ce que les auteurs reconnaissent. Nous n'avons pas trouvé de déclaration de conflits d'intérêts dans la version consultée. Enfin, la licence non commerciale exclut un déploiement en l'état, et aucun statut réglementaire n'est revendiqué.

Ce que ça change

Pour la communauté de recherche, Neuro-VL fournit un point de référence ouvert et volumique pour la neuro-imagerie conversationnelle, avec un banc d'essai public réutilisable. Il montre surtout qu'un modèle de 8 milliards de paramètres entraîné sur les données d'un hôpital peut dépasser des modèles généralistes de pointe sur son propre domaine. La prochaine étape attendue est connue : une étude de lecteurs, des taux d'erreurs cliniquement significatives dans les comptes rendus, et une validation sur des données d'autres systèmes de santé non publiques.

Pour les cliniciens, rien ne change aujourd'hui en pratique : le modèle n'est ni certifié ni évalué en conditions réelles, et ses performances sont exprimées en exactitude moyenne sur des questions générées. Le volet adversarial porte en revanche un message immédiat : interroger un assistant généraliste en formulant l'hypothèse dans la question (« décrivez l'hémorragie ») peut suffire à lui faire voir ce qui n'existe pas.

Pour les patients et le grand public, ce travail illustre une tendance de fond : des modèles spécialisés, entraînés sur les archives d'hôpitaux, qui pourraient un jour proposer une première lecture d'un examen cérébral ou suivre l'évolution d'une tumeur. Mais entre un banc d'essai et un compte rendu fiable remis à un patient, il manque encore l'étape décisive : la preuve, face à des médecins et en conditions réelles, que l'outil améliore la lecture sans ajouter d'erreurs.

Pour aller plus loin

Le préprint : A frontier machine intelligence for human neuroimaging, Zhao, Rao, Kondepudi et al., Université du Michigan et University of Tennessee Health Science Center, arXiv (cs.AI), déposé le 11 novembre 2026, DOI 10.48550/arXiv.2611.15094. Non relu par les pairs.

Code et poids : github.com/MLNeurosurg/neuro-vl et huggingface.co/mlinslab/neuro-vl-8b-thinking (CC BY-NC-SA 4.0). Banc d'essai : NeuroBench sur Hugging Face. Travaux antérieurs du laboratoire : Health system learning achieves generalist neuroimaging models (NeuroVFM).

Mention de transparence éditoriale : cet article a été produit par la chaîne éditoriale automatisée de Tatakoto à partir de la version 1 du préprint (version HTML d'arXiv) ; les figures annexes n'ont pas pu être consultées. Les conversions « sur 100 examens » et « sur 1 000 questions » sont nos calculs à partir des pourcentages publiés. Les versions anglaise, espagnole et chinoise sont générées par IA. Une erreur ? Contactez-nous.