Réactions transfusionnelles : trois LLM à poids ouverts extraient les signes du protocole NHSN des notes cliniques avec peu de fausses alertes, mais en oublient un sur quatre au mieux, sur 50 notes et sans référence indépendante
Une équipe nord-américaine et indienne a construit une chaîne de grands modèles de langage (LLM) à poids ouverts qui lit les notes cliniques et en extrait, élément par élément, les signes qui définissent une réaction transfusionnelle selon le protocole américain d'hémovigilance NHSN. Sur 50 notes relues par deux médecins, les trois modèles testés se trompent très rarement quand ils signalent quelque chose (précision supérieure à 0,98), mais le meilleur oublie environ un élément sur quatre et les deux autres plus d'un sur trois. C'est une preuve de faisabilité honnête et reproductible, pas encore un outil de surveillance : l'échantillon est petit, choisi parmi des cas suspects, et la référence a été construite en relisant les sorties des modèles eux-mêmes.
Le contexte
Une réaction transfusionnelle est un effet indésirable lié à la transfusion d'un produit sanguin : fièvre, réaction allergique, hémolyse, surcharge circulatoire (TACO, transfusion-associated circulatory overload) ou atteinte pulmonaire aiguë (TRALI, transfusion-related acute lung injury). Aux États-Unis, le module Hemovigilance du NHSN (National Healthcare Safety Network, rattaché aux CDC) fournit des définitions de cas standardisées pour douze types de réactions, fondées sur des signes, des symptômes et des résultats biologiques.
Le problème est connu : la plupart des réactions ne sont jamais déclarées. Les auteurs citent une étude de surveillance électronique dans laquelle seuls 11 des 78 TRALI et 5 des 45 TACO repérés par un algorithme avaient été signalés à la banque de sang. Les indices existent pourtant souvent, mais en texte libre, dans les notes des cliniciens, que ni les requêtes sur données structurées ni les mots-clés n'exploitent bien. D'où l'idée d'utiliser des LLM, des modèles entraînés sur de grandes quantités de texte et capables d'en extraire de l'information sur instruction, pour transformer ces notes en variables exploitables. Tatakoto a déjà décrypté des tentatives proches, par exemple l'extraction d'effets indésirables de radiothérapie à partir de consultations enregistrées ou le repérage de crises non épileptiques dans les notes cliniques.
La méthode
Les auteurs ont d'abord traduit le protocole NHSN (version 3.0) en un vocabulaire de 181 éléments : 93 signes cliniques ou biologiques tirés des définitions des douze réactions (dyspnée, prurit, LDH élevée, hémoculture positive, infiltrats bilatéraux, etc.) et 88 « négatifs pertinents », c'est-à-dire la mention explicite qu'un signe est absent, information utile pour exclure une réaction.
La chaîne est dite « multi-agents », mais chaque étape utilise le même modèle avec une consigne (prompt) différente. L'étape 1 repère les éléments présents ou absents, avec la citation du texte qui les justifie ; les réponses sont rapprochées du vocabulaire de façon déterministe, et tout terme hors liste est rejeté. L'étape 2 situe chaque élément dans le temps par rapport à la transfusion, ou le marque « incertain ». L'étape 3 remplit les variables détaillées du schéma NHSN, en n'acceptant que les valeurs autorisées. Deux étapes exploratoires (traitements, antécédents) n'ont pas été évaluées.
Trois modèles à poids ouverts (open-weight, dont les paramètres sont téléchargeables) ont été comparés : Qwen 3.6-27B, GPT-OSS-120B et Kimi K3. Les deux premiers tournaient à température 0 (réponses quasi déterministes), Kimi K3 à température 1,0, valeur imposée par le fournisseur. Ils n'ont pas été exécutés en local mais via les services en ligne Groq et OpenRouter, configurés selon les auteurs sans conservation des données.
L'évaluation porte sur 50 notes : 10 scénarios rédigés par des experts pour une étude de validation du module NHSN publiée dans Transfusion (Fung et al.), 20 cas cliniques publiés issus de PMC-Patients et 20 résumés de sortie d'hospitalisation de MIMIC-IV, base de données de l'hôpital Beth Israel Deaconess de Boston. Les cas réels ont été présélectionnés par mots-clés, puis triés par un LLM et par l'auteur senior ; 18 cas de développement sont exclus.
Il n'existe pas d'annotation de référence établie indépendamment. Deux médecins ont relu, dans une interface en aveugle (modèles anonymisés, ordre aléatoire), chaque sortie des trois modèles : ils validaient ou rejetaient chaque élément et pouvaient ajouter ceux que les modèles avaient oubliés. L'analyse principale ne retient que les éléments sur lesquels les deux médecins sont d'accord. Les métriques sont la sensibilité (part des éléments jugés présents que le modèle a trouvés), la précision (part des éléments extraits qui sont justes) et une « spécificité » définie ici comme la part des absences déclarées par le modèle qui sont confirmées.
Les résultats
Les deux médecins étaient d'accord sur 1 201 des 1 343 éléments jugés en commun (89,4 %), avec un alpha de Krippendorff de 0,73 (indice d'accord corrigé du hasard, 1 = accord parfait). Sur ces éléments concordants, la précision dépasse 0,98 pour les trois modèles. La sensibilité est de 0,774 (intervalle de confiance à 95 % : 0,745-0,800) pour Kimi K3, 0,636 (0,604-0,667) pour GPT-OSS-120B et 0,624 (0,593-0,655) pour Qwen 3.6-27B, soit des scores F1 (moyenne harmonique de la précision et de la sensibilité) de 0,87, 0,78 et 0,77. La « spécificité » va de 0,95 à 0,99. Réintégrer les éléments discordants change à peine les chiffres (0,78, 0,65 et 0,62) et pas le classement.
Les erreurs sont presque toutes des oublis : 196 faux négatifs pour Kimi K3, 317 pour GPT-OSS-120B et 354 pour Qwen, dont 95 à 100 % d'omissions pures. Les faux positifs sont rares : 2 pour Qwen, 4 pour GPT-OSS et 12 pour Kimi K3 dans le texte principal, mais 6 dans un tableau supplémentaire, une incohérence que le préprint ne résout pas. Les oublis portent surtout sur les critères biologiques et sur les critères définitionnels complexes (« maladie clinique inexpliquée compatible avec une infection »), et sur des distinctions fines comme hématurie contre hémoglobinurie. La sensibilité de Kimi K3 va de 0,68 sur les scénarios d'experts à 0,82 sur les cas publiés. Le minutage est jugé correct ou raisonnable dans plus de 92 % des cas, les détails cliniques dans plus de 97 %.
Traduction concrète, selon notre calcul à partir des faux négatifs publiés : sur une note type, Kimi K3 laisse de côté environ quatre éléments du protocole, les deux autres modèles six à sept. Sur 100 éléments jugés présents par les médecins, Kimi K3 en retrouve environ 77, les autres environ 63. En revanche, sur 100 éléments signalés, moins de 2 sont faux. L'outil est donc fiable quand il affirme, incomplet quand il se tait : pour une surveillance active, c'est l'oubli qui coûte, puisqu'un critère manquant peut faire basculer un cas hors d'une définition NHSN.
Ce qui est bien
Premièrement, une tâche cliniquement bien ancrée. Plutôt que de demander au modèle « y a-t-il eu une réaction ? », les auteurs le font travailler sur les briques des définitions officielles NHSN, avec la citation justificative et le minutage. Chaque sortie devient vérifiable par un humain.
Deuxièmement, une évaluation humaine soignée et transparente sur ses chiffres. Deux médecins en aveugle sur l'identité des modèles, un accord inter-juges rapporté avec son intervalle de confiance, une analyse de sensibilité qui réintègre les désaccords, des résultats par source et une analyse des types d'erreurs.
Troisièmement, une réelle reproductibilité. Les trois modèles sont à poids ouverts, le code, les consignes, le vocabulaire de 181 éléments et les identifiants des notes MIMIC-IV sont publiés sur GitHub, et les deux autres sources sont publiques.
Ce qui est moins bien
Premièrement, une métrique trompeuse par construction de la référence. Celle-ci n'est pas une annotation indépendante mais une relecture des sorties des modèles : les médecins pouvaient ajouter des oublis, mais un élément qu'aucun modèle n'a vu et que les relecteurs n'ont pas repéré n'entre jamais dans le dénominateur, ce qui tend à surestimer la sensibilité. L'interface propageait en outre les jugements d'un onglet de modèle à l'autre, ce qui réduit l'indépendance des notations. L'analyse principale écarte les 10,6 % d'éléments discordants, souvent les plus ambigus. Enfin, la « spécificité » rapportée mesure la fiabilité des absences déclarées, pas la capacité à ne rien signaler quand rien n'est présent : la comparer à une spécificité diagnostique classique serait une erreur, ce que les auteurs reconnaissent.
Deuxièmement, un biais de sélection et de population. Cinquante notes, présélectionnées comme réactions probables, avec une seule réaction supposée par note : on ignore combien décrivent réellement une réaction, et la tâche réelle (trouver quelques réactions parmi des milliers de notes de patients transfusés) n'est pas testée. Les notes MIMIC-IV viennent d'un seul hôpital universitaire américain, et les cas publiés sont, par nature, plus complets et mieux rédigés que des notes de routine. Ils sont aussi publics, et ont donc pu figurer dans les données d'entraînement des modèles, une forme possible de data leakage que l'étude n'examine pas ; c'est d'ailleurs sur ces cas que la sensibilité est la plus haute.
Troisièmement, un comparateur absent. Aucune référence externe n'est testée : ni règles à mots-clés, ni consigne unique sans découpage en étapes, ni abstraction manuelle par un professionnel de l'hémovigilance. On ne sait donc pas ce que la chaîne multi-étapes apporte, ni si 77 % de sensibilité est meilleur que l'existant. Les conditions ne sont pas non plus identiques entre modèles (température 1,0 pour Kimi K3 contre 0 pour les autres), chaque note n'a été traitée qu'une fois, et la variabilité d'une exécution à l'autre n'est pas mesurée. Côté données, les notes MIMIC-IV ont été envoyées à des services en ligne ; les auteurs invoquent les règles de PhysioNet et une configuration sans conservation, sans préciser comment celle-ci a été vérifiée. Un auteur déclare par ailleurs avoir travaillé comme prestataire contribuant à des projets d'OpenAI sur la sécurité des réponses de santé ; aucun financement n'est déclaré.
Ce que ça change
Pour la communauté de recherche : ce travail fournit un vocabulaire structuré, du code et un protocole d'évaluation réutilisables pour l'hémovigilance par LLM. La suite logique est une évaluation sur un flux non sélectionné de notes de patients transfusés, avec une annotation de référence indépendante établie avant de voir les sorties des modèles, et une comparaison avec les méthodes actuelles de surveillance.
Pour les cliniciens et les équipes d'hémovigilance : rien ne change en pratique aujourd'hui, les auteurs précisent eux-mêmes que la chaîne demandera des réglages avant tout branchement sur une base de déclaration. Le profil d'erreurs, très peu de fausses alertes mais beaucoup d'oublis, suggère un usage d'aide à la relecture, où l'outil préremplit un dossier qu'un humain complète, plutôt qu'un filtre autonome.
Pour les patients et le grand public : la sous-déclaration des réactions transfusionnelles est un vrai angle mort de la sécurité des soins, et ce type d'outil pourrait à terme aider à mieux les compter. Mais un modèle qui oublie un signe sur quatre dans le meilleur des cas ne peut pas encore servir de filet de sécurité.
Pour aller plus loin
Le préprint : Multi-Agent Generative Artificial Intelligence for Transfusion Reaction Feature Extraction, Kumari et al., medRxiv, mis en ligne le 9 novembre 2026, DOI 10.64898/2026.11.06.26367389. Non relu par les pairs.
Code, consignes et vocabulaire : dépôt GitHub des auteurs (licence non précisée dans le préprint). Définitions de cas : module Hemovigilance du NHSN, CDC, version 3.0. Données : MIMIC-IV-Note (PhysioNet, accès sur accréditation) et PMC-Patients.
Mention de transparence éditoriale : cet article a été produit par la chaîne éditoriale automatisée de Tatakoto à partir de la version 1 du préprint ; les tableaux supplémentaires n'ont pas pu être consultés. Les nombres d'éléments oubliés par note et pour 100 éléments sont nos calculs à partir des chiffres publiés. Les versions anglaise, espagnole et chinoise sont générées par IA. Une erreur ? Contactez-nous.