Interroger l'entrepôt de données d'un hôpital en langage naturel : à la Charité, l'outil commercial AIRE répond juste quand il exécute une requête SQL traçable, et se trompe à chaque fois qu'il n'en exécute pas, sur 25 questions

Une équipe de neuroradiologie de la Charité de Berlin a branché un outil commercial de requêtes en langage naturel, AIRE de la société israélienne Briya, sur l'entrepôt de données de ses trois hôpitaux, et lui a posé 25 questions sur une cohorte de 1 594 patients atteints de tumeur cérébrale. Les chiffres étaient presque toujours justes ou vérifiables quand l'outil exécutait une requête enregistrée dans son journal, et systématiquement faux quand il répondait sans en exécuter. L'étude est petite, monocentrique et cofinancée par l'éditeur, mais son enseignement principal est solide et transposable : un chiffre produit par une IA sur des données de santé ne vaut que si l'on peut voir la requête qui l'a produit.

Le contexte

Constituer une cohorte, c'est-à-dire retrouver dans les dossiers d'un hôpital tous les patients qui répondent à des critères (un diagnostic, une tranche d'âge, une chirurgie, une période), reste l'une des premières étapes de presque toute étude clinique rétrospective et de toute étude de faisabilité d'essai. Dans la plupart des hôpitaux, cela passe par des requêtes SQL (le langage standard d'interrogation des bases de données) écrites par des informaticiens ou des data managers, ce qui crée une file d'attente et une dépendance forte des cliniciens envers quelques personnes.

Les grands modèles de langage (LLM, large language models, modèles entraînés sur d'immenses corpus de textes et capables de produire du texte ou du code) promettent de lever cette barrière : on pose la question en langage courant, le système la traduit en SQL (on parle de text-to-SQL), exécute la requête et rend le résultat. La recherche académique sur ce sujet est abondante, avec des bancs d'essai (benchmarks) comme EHRSQL, construits sur des bases publiques de réanimation. Mais, soulignent les auteurs, presque toutes ces évaluations portent sur des bases de recherche ou des prototypes, rarement sur un produit commercial installé dans l'infrastructure réelle d'un hôpital, avec ses codages locaux, ses tables historiques et ses règles de gouvernance. C'est ce manque que ce préprint, déposé sur medRxiv le 10 novembre 2026 et non encore relu par des pairs, cherche à combler.

La méthode

Le terrain est la plateforme de données de santé (Health Data Platform, HDP) de la Charité – Universitätsmedizin Berlin : un miroir pseudonymisé (les identités sont remplacées par des codes) des systèmes cliniques de trois hôpitaux universitaires, contenant données administratives, séjours, diagnostics et actes. L'outil évalué, AIRE, a été installé sur un serveur virtuel à l'intérieur du réseau hospitalier : le modèle de langage et les composants de requête tournent sur place, aucune donnée patient ne sort. Le LLM sous-jacent n'est pas nommé dans le préprint. L'éditeur a construit lui-même une couche FHIR (un standard international d'échange de données de santé) à partir des tables de l'entrepôt ; AIRE génère des requêtes SQL qu'il exécute via le moteur Trino, peut poser des questions de clarification, et conserve un journal exportable de chaque requête (heure, code SQL, nombre de lignes, statut).

La cohorte test regroupe les adultes porteurs d'un code CIM-10 C71 (tumeur maligne de l'encéphale), utilisé comme approximation du glioblastome : 1 594 patients selon la requête de référence. Les auteurs ont conçu une batterie de 25 questions en trois blocs : construction progressive de la cohorte (adultes, premier diagnostic entre 2018 et 2023, puis résection chirurgicale), caractérisation (âge moyen par exemple), et 17 questions plus variées (taux de réintervention, dix diagnostics les plus fréquents, croisement sexe × âge, exposition à la radiothérapie, délai entre diagnostic et décès). Pour chaque question, une requête SQL de référence avait été écrite à la main avant d'interroger l'outil. Les reformulations autorisées précisaient seulement les définitions (champs, dates, préfixes de codes), jamais la valeur attendue.

Chaque réponse a été classée en cinq catégories : exacte ; concordante après alignement des définitions ; fausse mais traçable (une requête existe dans le journal et permet de comprendre l'erreur) ; fausse et non journalisée (un chiffre plausible sans aucune requête derrière) ; pas de réponse. Les questions sans réponse ou fausses ont été reposées une fois dans une nouvelle conversation. Deux évaluateurs ont classé indépendamment les 37 réponses ; leur accord est mesuré par le kappa de Cohen (indice d'accord corrigé du hasard, 1 = accord parfait), qui vaut 0,74.

Les résultats

Sur les 25 questions de la première série, 11 réponses sont exactes, 1 concordante après alignement, 3 fausses mais traçables, 6 fausses sans requête journalisée et 4 sans réponse. Au tout premier essai, sans reformulation, seules 6 réponses sur 25 sont strictement exactes, et le premier chiffre affiché est juste dans 9 cas sur 25. Exemple de dérive traçable : à l'étape de la résection, l'outil trouve 1 248 patients contre 1 275 attendus, parce que sa liste explicite de codes d'actes (classification allemande OPS) oubliait des sous-codes plus profonds.

Le résultat central apparaît quand on regroupe les deux séries (37 réponses). Parmi les 23 réponses adossées à une requête journalisée, 22 sont correctes ou au moins vérifiables ; l'exception est un cas où l'affichage (84 patients) ne correspondait pas au résultat de sa propre requête (101). À l'inverse, les 8 chiffres produits sans requête sont tous faux, et parfois de beaucoup : 117 patients ayant eu une simple biopsie au lieu de 258, ou 512 patients sous chimiothérapie (32,1 %) au lieu de 142 (8,9 %). L'âge moyen de la même cohorte a été donné à 64,9 ans (sans requête), puis à 55,1, 53,2 et 52,3 ans selon les conversations.

Un indice simple trahit ces réponses inventées : le temps. Les réponses avec requête ont pris en médiane 64 secondes (intervalle interquartile 57 à 81 secondes), celles sans requête 3 à 6 secondes. Aucune réponse fausse non journalisée ne s'est reproduite à l'identique dans une nouvelle conversation, ce qui suggère, selon les auteurs, que l'outil réutilisait des valeurs accumulées dans le fil de discussion au lieu de relancer une requête.

Traduction concrète : un chercheur qui poserait ces 25 questions et recopierait le premier chiffre affiché obtiendrait 9 valeurs justes, et 6 valeurs fausses mais crédibles qui n'auraient laissé aucune trace. En appliquant une règle stricte (n'accepter aucun chiffre sans requête visible), il aurait écarté toutes les valeurs inventées, mais il lui aurait encore fallu relire le SQL des réponses traçables pour repérer les 3 erreurs de définition de la première série. L'outil fait gagner du temps d'écriture, pas du temps de vérification.

Ce qui est bien

Premièrement, un terrain réel et rarement documenté. L'outil fonctionne dans l'infrastructure de production d'un grand hôpital, avec ses codages et ses tables historiques, et non sur une base de démonstration. Le préprint décrit aussi ce que la presse oublie : il a fallu près de deux ans entre le lancement en octobre 2024 et la première requête réussie en juin 2026, dont environ neuf mois de procédures réglementaires (analyse d'impact sur la protection des données, double revue de sécurité informatique), alors que l'installation par l'éditeur n'a pris que deux semaines une fois le serveur disponible.

Deuxièmement, une grille d'évaluation qui distingue l'erreur vérifiable de l'erreur invisible. Plutôt que de produire un unique taux d'exactitude, les auteurs séparent les réponses fausses mais traçables des réponses fausses sans trace. C'est la distinction utile en pratique, et elle débouche sur des consignes opérationnelles : conversations courtes et séparées par sujet, définitions répétées dans chaque question, refus de tout chiffre sans requête affichée, nouvelle exécution des requêtes critiques dans une conversation neuve.

Troisièmement, une transparence inhabituelle sur les défaillances. Les auteurs rapportent un filtre par défaut sur le statut de vérification des diagnostics que la consigne « quel que soit le statut » ne désactivait pas, une couche d'affichage qui a dédupliqué des lignes et perdu des patients, et des questions de structure identique qui ont réussi ou échoué selon la conversation. Les questions, les requêtes générées et de référence et les entrées de journal correspondantes figurent en matériel supplémentaire.

Ce qui est moins bien

Premièrement, des effectifs très faibles et une métrique trompeuse possible. 25 questions, une seule formulation par question, une seule nouvelle tentative, aucun intervalle de confiance : « 8 sur 8 » et « 22 sur 23 » sont des observations frappantes, pas des taux estimés. La sensibilité à la reformulation, pourtant décisive pour un outil en langage libre, n'a pas été testée, et la batterie a été construite sur six semaines sans préenregistrement.

Deuxièmement, une référence qui n'est pas la vérité clinique, ce qui relève du comparateur biaisé au sens large. Le gold standard est la requête SQL écrite par l'équipe, pas un retour aux dossiers. Si l'entrepôt est incomplet, l'outil et la référence se trompent ensemble : les auteurs notent eux-mêmes qu'une mortalité hospitalière de 6,3 % est invraisemblablement basse pour un glioblastome, signe que les décès hors de l'hôpital échappent aux données. Le code C71 ne correspond pas non plus au seul glioblastome. Enfin, les deux évaluateurs n'étaient pas en aveugle des valeurs de référence, et le premier avait lui-même mené la batterie.

Troisièmement, une généralisation incertaine et des conflits d'intérêts lourds. Un seul site, un seul éditeur, une seule version du produit, une seule cohorte : c'est un cas typique de biais de population transposé aux données, car un autre entrepôt, avec d'autres codages et d'autres tables, pourrait donner des résultats très différents. Briya a partiellement financé l'étude, fourni gratuitement la plateforme, réalisé le mappage des données et relu le manuscrit pour l'exactitude factuelle ; le premier auteur a reçu une partie de son salaire de Briya, le dernier auteur déclare des accords de collaboration avec la société, et la seconde évaluatrice est une ancienne employée de Briya. Les auteurs le déclarent clairement, mais le lecteur doit le garder en tête. Le modèle de langage sous-jacent n'étant pas nommé, l'expérience n'est pas reproductible en dehors de ce produit.

Ce que ça change

Pour la communauté de recherche, ce préprint déplace la question. La précision moyenne d'un système text-to-SQL compte moins que sa capacité à exposer ce qu'il a réellement exécuté. Il plaide pour des évaluations qui mesurent la provenance (le lien vérifiable entre un chiffre et la requête qui l'a produit) et pour des outils qui signalent explicitement l'absence de requête comme un signal de non-fiabilité, ce que les auteurs suggèrent aux éditeurs.

Pour les cliniciens et les équipes de données hospitalières, la leçon est pratique et immédiate : une interface conversationnelle peut accélérer une étude de faisabilité, mais elle ne remplace ni la relecture du SQL, ni la connaissance des pièges de l'entrepôt (codes manquants, filtres implicites, décès non capturés). Une réponse instantanée sans requête affichée doit être traitée comme une invention, pas comme un résultat. Et l'intégration demande du temps : ici, deux ans de gouvernance et d'informatique pour deux semaines d'installation.

Pour les patients et le public, l'enjeu est indirect mais réel : les cohortes construites par ces outils servent à décider quelles études mener et quels patients approcher pour des essais. Des chiffres plausibles mais faux, sans trace, peuvent orienter ces décisions sans que personne ne s'en aperçoive. L'étude montre qu'une règle simple de traçabilité suffit à les écarter dans ce contexte, à condition qu'elle soit appliquée.

Pour aller plus loin

Le préprint : Desser D, Brunecker P, Dell'Orco A, Galperin G, Wattjes MP, Nawabi J. « Natural-language cohort queries on a hospital data platform: accuracy and provenance in a real-world evaluation », medRxiv, 2026, DOI 10.64898/2026.11.09.26367645. Les questions, requêtes et extraits de journal sont dans le matériel supplémentaire S1 ; les transcriptions complètes sont disponibles sur demande auprès de l'auteur correspondant, les données patients ne sont pas partageables. Pour situer le travail : le benchmark EHRSQL (Lee et al.) et sa tâche partagée de 2024 sur la fiabilité du text-to-SQL, ainsi que Criteria2Query pour la traduction de critères d'éligibilité d'essais en requêtes.