Comptes rendus de pathologie générés par IA : pourquoi les scores BLEU surestiment la qualité, et ce que corrige la métrique clinique CRQS

Une équipe de Stony Brook et de l'Université de l'Utah a monté le premier banc d'essai standardisé pour la génération automatique de comptes rendus de pathologie à partir de lames numérisées, en réévaluant quatre modèles et trois encodeurs d'images sur trois jeux de données. Leur constat : les métriques de langage habituelles (BLEU, ROUGE, METEOR) récompensent la ressemblance de surface et peuvent bien noter un compte rendu qui a inversé le diagnostic. Pour y remédier ils proposent CRQS, un score qui compare les faits cliniques extraits plutôt que les mots — mais la métrique-juge s'appuie elle-même sur un modèle de langage, et se mesure contre des références bruitées.

Le contexte

Générer un compte rendu de pathologie à partir d'une lame, c'est demander à un modèle de lire une whole-slide image (WSI) — le scan d'une lame de tissu colorée, une image « gigapixel » de plusieurs milliards de pixels — et d'en rédiger le rapport diagnostique : type de tumeur, grade, stade, marges, envahissement ganglionnaire. La tâche est récente et devient réaliste grâce aux foundation models de pathologie, des réseaux de vision pré-entraînés sur d'énormes collections de lames (ici CONCH, UNI, H-Optimus) qui transforment chaque fragment d'image en vecteurs de caractéristiques exploitables.

Deux problèmes freinent le domaine. D'abord la comparabilité : chaque équipe utilise ses propres données, son encodeur, son prétraitement et son protocole, si bien qu'on ignore si un gain annoncé vient du modèle ou du montage expérimental. Ensuite l'évaluation. La plupart des travaux notent les rapports générés avec des métriques empruntées à la traduction automatique — BLEU, ROUGE, METEOR — qui mesurent le recouvrement lexical, c'est-à-dire la proportion de mots ou de courtes séquences communes entre le texte produit et le texte de référence. Le problème est clinique : un compte rendu peut ressembler mot pour mot à la référence tout en omettant un diagnostic, en se trompant de grade, ou en inventant une atteinte ganglionnaire. Ces erreurs ne sont pas linguistiques, elles sont médicales — et une métrique de surface ne les voit pas.

La méthode

Le travail comporte deux briques. La première est un banc d'essai standardisé. Les auteurs réimplémentent quatre méthodes représentatives dans une base de code unique : WSI-Caption (dit MI-Gen, un générateur par multiple instance learning, qui agrège des caractéristiques de fragments pour produire un rapport de lame), HistGen (encodage hiérarchique local-global), BiGen (modèle augmenté par récupération, qui va chercher des connaissances textuelles externes) et SCOUT (transformeur multimodal sensible au contexte). Chacune est couplée à trois encodeurs de pathologie — CONCHv1.5, UNI2-h et H-Optimus-1 — pour isoler l'effet de la représentation visuelle. Tout passe par le même pipeline : extraction des caractéristiques avec l'outil TRIDENT sur des fragments à grossissement 20×, même tokeniseur, mêmes découpages train/validation/test, entraînement sur GPU H100/H200 avec une taille de lot de 1. Trois jeux de données aux profils complémentaires : TCGA (7 074 / 884 / 885 lames ; rapports longs, en texte libre, à fort bruit d'annotation), HistAI (9 980 / 1 248 / 1 248 ; multicentrique, modérément structuré) et REG 2025 (5 924 / 740 / 741 ; rapports courts, semi-structurés, peu bruités).

La seconde brique est la métrique CRQS (Clinical Report Quality Score). Plutôt que comparer deux textes, CRQS extrait de chaque rapport — généré et référence — un ensemble de champs cliniques structurés (diagnostic, type histologique, grade, stade, statut des marges, envahissement ganglionnaire, biomarqueurs), via un pipeline de modèle de langage, puis normalise le vocabulaire. Elle calcule alors quatre sous-scores : la couverture des faits (part des champs de la référence correctement retrouvés), le rappel des informations clés (les champs les plus décisifs : diagnostic, grade, stade, marges, ganglions), le taux d'hallucination (part des faits affirmés par le modèle qui ne figurent pas dans la référence) et la discordance clinique (contradictions directes sur un champ présent des deux côtés). La combinaison pondère le plus fortement le rappel des informations clés et pénalise plus lourdement la discordance que l'hallucination — car une valeur contradictoire est plus dangereuse qu'un ajout non conflictuel — puis normalise le tout entre 0 et 1. Le schéma des champs a été conçu avec un pathologiste, en privilégiant les éléments réellement inférables depuis la lame.

Les résultats

Le contraste entre jeux de données est frappant. Sur REG 2025 (rapports courts et structurés), les métriques lexicales et cliniques s'accordent : BLEU-1 autour de 0,83–0,86 et CRQS autour de 0,69–0,71. Sur TCGA (texte libre, long), CRQS s'effondre à environ 0,18–0,19 et le taux d'hallucination atteint environ 0,5 — soit près de la moitié des faits cliniques affirmés par le modèle non soutenus par la référence — alors que les scores lexicaux restent « présentables » (BLEU-1 ≈ 0,34–0,39). Autrement dit, sur les données réalistes, les métriques classiques surestiment nettement la qualité clinique. HistAI se place entre les deux (CRQS ≈ 0,27–0,29).

Surtout, le meilleur modèle change selon la métrique. Sur REG 2025, SCOUT domine les scores de langage mais c'est BiGen qui obtient le meilleur CRQS moyen : choisir son système sur BLEU aurait désigné un autre gagnant que le critère clinique. Deux exemples rendent la dissociation tangible. Cas 1 : le modèle rétrograde une lésion du col de l'utérus de haut grade (HSIL / CIN 2) en bas grade (LSIL / CIN 1) — une erreur cliniquement lourde — et pourtant METEOR lui accorde 0,4264 (une note honorable) tandis que CRQS l'écrase à −0,0714. Cas 2 : le modèle écrit « hyperplasie réactionnelle du ganglion » là où la référence dit « ganglion réactionnel, pas de carcinome métastatique » — même sens clinique, mots différents — et METEOR le sanctionne à 0,0114 (note catastrophique) quand CRQS reconnaît 0,9143. Le choix de l'encodeur a un effet mesurable mais aucun ne domine partout : la représentation visuelle optimale dépend du jeu de données et de la méthode.

La traduction clinique du cas 1 dit tout de l'enjeu : décrire comme « bas grade » une véritable lésion précancéreuse de haut grade du col, c'est risquer qu'une patiente qui relève d'un traitement ou d'une surveillance rapprochée soit simplement rassurée. Une métrique qui note cette erreur 0,43 sur 1 laisserait passer un modèle dangereux ; c'est précisément ce que CRQS cherche à empêcher.

Ce qui est bien

Une standardisation réelle, reproductible et publique. Découpages fixes partagés, extraction unifiée par TRIDENT, réimplémentation des quatre méthodes dans une seule base PyTorch Lightning : le montage attaque de front le problème de comparabilité du domaine. Détail parlant, plusieurs modèles réévalués dépassent leurs propres chiffres d'origine, ce qui suggère qu'une part des « progrès » publiés tenait au prétraitement plutôt qu'à l'architecture. Le cadre et les découpages sont ouverts (dépôt PathBench sur GitHub), donc rejouables.

Une métrique qui parle clinique, pas linguistique. En décomposant la qualité en modes d'échec interprétables — omission, champ clé manqué, hallucination, contradiction — CRQS fait exactement ce que BLEU ne fait pas, et dans les deux sens : elle punit une inversion de grade que METEOR trouvait acceptable, et récompense une reformulation correcte que METEOR jugeait nulle. Le schéma bâti avec un pathologiste et centré sur les éléments visibles sur la lame ancre l'évaluation dans la pratique synoptique réelle.

Financement public, équipes académiques, pas de conflit d'intérêts. Le travail est soutenu par des subventions du NIH (dont 1R01CA297843-01) et de la NSF (2442053), porté par des laboratoires universitaires (informatique biomédicale à Stony Brook, pathologie à l'Université de l'Utah), sans sponsor commercial ni conflit déclaré. Sur une question d'évaluation, l'indépendance compte : celui qui définit la métrique décide quels modèles « gagnent ».

Ce qui est moins bien

La métrique trompeuse… corrigée par une métrique qui juge avec un modèle de langage. Pour extraire les faits cliniques, CRQS s'appuie sur un pipeline de LLM. Le juge clinique est donc lui-même un modèle de langage, dont le taux d'erreur d'extraction n'est pas quantifié à grande échelle contre des pathologistes — il est seulement « vérifié par des experts » de façon qualitative. On risque de déplacer d'un cran le problème que l'on prétend résoudre : un juge-LLM peut halluciner un champ ou normaliser à tort un synonyme, et réintroduire précisément l'hallucination et la métrique trompeuse qu'il est censé mesurer. C'est le même écueil que celui d'un LLM-évaluateur en clinique, que nous avons décrit ailleurs.

On mesure la fidélité à une référence, elle-même bruitée, jamais un résultat pour le patient. CRQS compare le rapport généré au rapport de référence — or les rapports TCGA sont explicitement décrits comme « à fort bruit d'annotation ». Discordance et hallucination sont donc calculées contre une vérité terrain imparfaite : un « fait halluciné » peut être une observation correcte absente d'une référence bâclée, et la discordance pénalise un désaccord avec une référence parfois fautive. Le taux d'hallucination de 0,5 sur TCGA reflète en partie la qualité des références, pas seulement l'échec du modèle. À aucun moment la métrique ne touche à un devenir clinique : pas d'étude lecteur avec des pathologistes sur les rapports finaux, pas de validation prospective. S'y ajoute un biais de population assumé — trois jeux de données seulement, à dominante occidentale (dont TCGA, américain) : la généralisation à d'autres laboratoires et populations n'est pas testée.

Des choix de conception non éprouvés. Les poids de CRQS (0,30 / 0,40 / 0,20 / 0,40) sont fixés à la main, sans analyse de sensibilité montrant comment les classements bougeraient si l'on repondérait ; et un rapport individuel peut recevoir un score négatif (le cas CIN à −0,07), si bien que la normalisation entre 0 et 1 ne tient qu'en moyenne. Enfin, la taille de lot de 1 et une stratégie de décodage figée n'exploitent pas forcément le meilleur réglage de chaque méthode : les chiffres absolus valent comme comparaisons internes au banc d'essai, pas comme plafond de performance d'un modèle donné.

Ce que ça change

Pour la communauté de recherche, le message est net : en génération de comptes rendus de pathologie, la correction clinique — et non le recouvrement lexical — doit devenir le critère premier, et l'évaluation doit se faire sur plusieurs jeux de données et encodeurs pour éviter les conclusions d'un seul réglage. Le cadre et les découpages réutilisables abaissent le coût d'une comparaison honnête. Reste maintenant à « valider le validateur » : chiffrer l'erreur d'extraction de CRQS contre des pathologistes, tester la sensibilité aux poids, et relier l'évaluation à des devenirs cliniques.

Pour les cliniciens, rien à déployer — c'est un outil pour noter des systèmes de recherche, pas un dispositif. Mais la leçon est directement utile : un fournisseur qui vante un « état de l'art BLEU/ROUGE » pour un outil de compte rendu automatique ne dit presque rien de la sécurité clinique. Les bonnes questions sont la couverture des faits, le taux d'hallucination et la discordance mesurés contre des références vérifiées par des pathologistes.

Pour les patients et le grand public, l'étude tempère les titres du type « une IA rédige votre compte rendu d'anatomopathologie ». Sur des données réalistes en texte libre (TCGA), les systèmes actuels hallucinent environ la moitié de leurs faits cliniques et obtiennent une fidélité clinique basse, même quand leurs rapports « se lisent bien ». Le compte rendu de pathologie automatisé reste un problème de recherche, pas un produit clinique — et le vrai progrès se mesurera à la justesse des faits, pas à la fluidité du texte.

Pour aller plus loin

Le préprint est disponible sur arXiv (2607.18448), déposé en juillet 2026 par Suryakant Singh, Sejuti Majumder, Beatrice Knudsen, Joel Saltz et Prateek Prasanna (Stony Brook University ; University of Utah) ; il n'a pas encore été relu par les pairs. Le cadre d'évaluation et les découpages sont publiés sous le nom PathBench sur GitHub. Sur l'évaluation par modèle de langage et les foundation models en pathologie, voir nos décryptages sur les limites d'un LLM-évaluateur pour noter l'IA médicale, sur la construction d'un foundation model de pathologie par distillation d'experts, et sur la robustesse et la généralisation des foundation models d'histopathologie.

Transparence éditoriale : version française rédigée et signée par la rédaction de Tatakoto à partir de la lecture du préprint. Traductions anglaise, espagnole et chinoise produites avec assistance IA et relues.