Quand un LLM clinique remplit mal les cases : mesurer, puis réparer la conformité aux schémas ICD-10, CPT et FHIR

Jianru Shen (University of Montana) teste trois grands modèles de langage open-source — Qwen2.5 7B, Llama 3.1 8B et Gemma2 9B — sur 320 scénarios cliniques couvrant dix spécialités, en leur demandant de produire des sorties structurées conformes aux standards d'échange de données de santé ICD-10, CPT et HL7 FHIR. Sans garde-fou, la conformité de format plafonne entre 85,9 % et 91,6 % selon le modèle ; une boucle automatique de validation puis réparation la porte à 99,0 % en deux itérations, environ 1 % des cas étant renvoyés à un humain. Mais ce que le papier mesure est la conformité structurelle, pas l'exactitude clinique : un code parfaitement bien formé peut rester médicalement faux, et c'est précisément la limite que ce travail ne referme pas.

Le contexte

Un modèle de langage (LLM, pour large language model : un réseau de neurones entraîné à prédire du texte) sait produire une prose clinique fluide. Le problème, c'est que l'hôpital ne fonctionne pas en prose. Un diagnostic doit devenir un code ICD-10 (la classification internationale des maladies, dixième révision), un acte doit devenir un code CPT (la nomenclature américaine des actes médicaux, qui pilote la facturation), et l'ensemble doit s'échanger entre logiciels au format HL7 FHIR (Fast Healthcare Interoperability Resources, le standard moderne d'interopérabilité des données de santé). Ces formats sont des « schémas » : des gabarits stricts qui imposent quels champs existent, de quel type ils sont, et comment ils s'imbriquent.

Si la sortie d'un modèle ne respecte pas le schéma — un champ manquant, un code mal typé, une structure JSON invalide — le dossier médical électronique la rejette. C'est le verrou pratique qui bloque l'intégration des LLMs en clinique : un modèle peut « raisonner » correctement et néanmoins produire un objet inexploitable par les systèmes en aval. Les approches antérieures existent (décodage contraint, appel de fonctions, gabarits JSON imposés), mais elles sont souvent liées à un fournisseur de modèle précis. Le papier pose une question systémique : le défaut de conformité est-il propre à un modèle, ou partagé par toute une génération de LLMs ? Et une couche de correction générique peut-elle le combler ?

La méthode

Le cœur du dispositif est une boucle dite « fermée » (cybernétique) de validation-réparation. Le modèle génère d'abord une sortie structurée. Un validateur la confronte au schéma cible (ICD-10, CPT ou FHIR) : c'est une vérification déterministe, sans IA, qui répond par oui ou non et pointe l'erreur exacte. Si la sortie est invalide, l'erreur est réinjectée au modèle avec une consigne de correction ; il régénère ; on revalide. On répète jusqu'à ce que la sortie passe, ou qu'on atteigne une limite d'itérations. Un dernier filet de sécurité renvoie à un humain les cas que la boucle n'arrive pas à corriger.

L'évaluation est appariée : chaque scénario est passé deux fois, une fois en condition de base (le modèle répond sans boucle) et une fois avec la boucle de validation-réparation, ce qui permet de mesurer l'apport net du mécanisme. Le protocole comprend 320 scénarios cliniques répartis sur dix spécialités médicales, soit 960 paires modèle-scénario une fois croisés les trois modèles. Les trois LLMs sont déployés localement — un choix qui compte en santé, car il évite d'envoyer des données à un service cloud tiers. Les métriques sont simples et lisibles : le taux de conformité au schéma (part des sorties acceptées par le validateur), le nombre d'itérations nécessaires pour converger, et la part de cas basculés vers la supervision humaine. Le papier propose en plus une taxonomie des erreurs rencontrées.

Les résultats

En condition de base, la conformité de format s'établit entre 85,9 % et 91,6 % selon le modèle. Le fait le plus parlant n'est pas le niveau, mais la proximité des trois modèles : ils tiennent dans une fourchette de 5,7 points de pourcentage malgré des architectures et des corpus d'entraînement différents. Autrement dit, le trou de conformité n'est pas un accident propre à un modèle : il est partagé, ce qui suggère une lacune commune dans la façon dont ces LLMs ont appris les formats de santé. Avec la boucle de validation-réparation, la conformité globale monte à 99,0 %, avec une convergence pratique en deux itérations, et environ 1 % des cas confiés à une relecture humaine. L'analyse d'erreurs montre que les échecs sont majoritairement des violations « de représentation » — des problèmes de format (champ absent, type incorrect, structure malformée) plutôt que des contresens profonds. C'est cohérent avec le fait qu'une réparation ciblée, guidée par le message du validateur, suffise à les corriger.

La traduction en termes concrets aide à saisir l'enjeu. Sur 1 000 sorties structurées, la condition de base en laisserait environ 85 à 140 non conformes — autant d'objets qu'un dossier médical électronique refuserait ou intégrerait de travers. Après la boucle, il en resterait environ 10, renvoyés à un humain. Le gain opérationnel est réel : on passe d'un taux d'échec qui interdit l'automatisation à un résidu gérable par supervision. Mais ce compte ne dit rien d'une autre question, sur laquelle le papier reste muet : parmi les 990 sorties désormais « conformes », combien portent le bon code ?

Ce qui est bien

Une évaluation appariée sur trois familles de modèles. Tester Qwen, Llama et Gemma dans le même protocole, en condition de base et avec réparation, permet d'isoler l'effet du mécanisme et de montrer que le défaut de conformité est systémique (écart inférieur à 5,7 points entre fournisseurs). C'est plus solide qu'une démonstration sur un seul modèle.

Une couche de réparation simple, déterministe et indépendante du fournisseur. La validation repose sur le schéma, pas sur un jugement d'IA : elle est reproductible et vérifiable. La boucle converge en deux itérations et fonctionne quel que soit le modèle sous-jacent, ce qui en fait une brique déployable sans enfermement propriétaire (vendor lock-in).

Une taxonomie d'erreurs qui explique le résultat. Montrer que les échecs sont surtout des violations de format, et non des erreurs de sens, éclaire pourquoi une réparation guidée par le validateur suffit. C'est une contribution utile pour qui veut concevoir des garde-fous ciblés plutôt qu'un re-entraînement coûteux.

Ce qui est moins bien

La métrique est trompeuse si on la lit trop vite. « Conformité au schéma » veut dire correction syntaxique : la sortie a la bonne forme. Elle ne dit rien de la correction clinique : un code ICD-10 bien formé mais désignant la mauvaise maladie passe la validation à 100 %. Le validateur vérifie le gabarit, pas la vérité médicale. Les 99,0 % annoncés mesurent donc la forme, et le papier ne mesure pas — et ne prétend pas mesurer — combien de codes sont cliniquement justes. C'est le mode d'échec classique de la métrique trompeuse.

Des scénarios construits, pas de vrais dossiers ni de déploiement réel. Les 320 scénarios sont un banc d'essai, non des dossiers patients issus d'un hôpital, et il n'y a pas de validation externe multi-centres ni d'intégration testée dans un vrai dossier médical électronique. La généralisation à la variété et au bruit des données réelles reste à démontrer.

Le résidu de 1 % et le risque de confiance excessive. À l'échelle d'un système hospitalier qui produit des millions de documents, 1 % représente un volume considérable de cas à relire. Surtout, une sortie « réparée » est bien formée, donc rassurante : elle invite à une automatisation aveugle (automation bias) alors même que la réparation ne touche pas au fond. Ajoutons que les modèles testés sont de petite taille (7 à 9 milliards de paramètres), que le travail est signé d'un seul auteur et publié en preprint de conférence (IEEE SMC 2026) : autant de raisons de considérer ces chiffres comme un point de départ, pas un verdict.

Ce que ça change

Pour la communauté de recherche, le papier fournit un cadre reproductible et une taxonomie pour mesurer la fiabilité structurelle des LLMs cliniques — un angle distinct des benchmarks de raisonnement médical. Il pointe surtout le chantier suivant : coupler la conformité de format à une évaluation de l'exactitude sémantique du codage, la seule qui compte vraiment pour la sécurité.

Pour les cliniciens et les équipes d'intégration, le message est double. Oui, une couche de validation-réparation peut fiabiliser l'insertion de LLMs dans un dossier médical électronique sans dépendre d'un fournisseur unique. Non, « intégrable » ne veut pas dire « juste » : la relecture humaine reste indispensable sur le fond, et il ne faut pas laisser la propreté du format faire baisser la garde.

Pour les patients et le grand public, l'enjeu est invisible mais concret. Les codes ICD-10 et CPT alimentent le dossier médical, les remboursements et la facturation. Un système qui corrige la forme d'un code sans en garantir l'exactitude peut produire des documents parfaitement conformes et pourtant erronés — avec des conséquences sur le parcours de soins ou le reste à charge. La fiabilité de forme est nécessaire ; elle n'est pas suffisante.

Pour aller plus loin

Le preprint est disponible sur arXiv (2607.24371), accepté à la conférence IEEE SMC 2026. Pour le contexte des standards cités : la classification ICD-10 de l'OMS, la nomenclature CPT de l'American Medical Association, et le standard d'interopérabilité HL7 FHIR.