Urgences pédiatriques : l'agent Dr CaBot fait jeu égal avec quatre urgentistes sur 100 enfants hospitalisés, mais sur un critère proche du plafond

Une équipe du Boston Children's Hospital et de Harvard a soumis les dossiers de 100 enfants passés par les urgences puis hospitalisés à un agent fondé sur un grand modèle de langage, Dr CaBot, et à quatre urgentistes pédiatriques, en dévoilant l'information étape par étape. Au moment de la première évaluation médicale, l'agent et les médecins proposent une liste de diagnostics contenant le bon diagnostic, ou un diagnostic très proche, dans 95 % des cas, et le diagnostic cité en premier est juste dans environ six cas sur dix. Le résultat est sérieux car il porte sur de vrais dossiers, mais le critère est proche du plafond, les notes sont rédigées par des spécialistes et les enfants déjà hospitalisés : on ne sait pas encore si l'agent aiderait là où les erreurs se produisent.

Le contexte

Aux urgences, un enfant mal ou tardivement diagnostiqué peut revenir plus malade ou subir une complication évitable, surtout là où il n'y a pas de pédiatre urgentiste, c'est-à-dire dans la plupart des urgences générales. D'où l'intérêt pour les grands modèles de langage (LLM, des réseaux de neurones entraînés sur d'immenses corpus de texte, capables de produire un raisonnement rédigé) comme aide au diagnostic différentiel, c'est-à-dire la liste hiérarchisée des maladies compatibles avec ce que l'on observe.

La plupart des évaluations reposaient sur des vignettes publiées, souvent présentes dans les données d'entraînement des modèles. De vrais dossiers d'urgence avaient été testés chez l'adulte, pas chez l'enfant, dont les présentations dépendent fortement de l'âge et du récit des parents.

L'outil testé, Dr CaBot, est un agent (un LLM qui enchaîne lui-même plusieurs étapes, ici recherches bibliographiques puis raisonnement) présenté en 2025 par une partie de la même équipe de Harvard, et conçu pour raisonner à la manière des conférences clinico-pathologiques.

La méthode

L'étude est rétrospective et monocentrique : elle porte sur les passages aux urgences du Boston Children's Hospital entre le 1er juillet 2024 et le 30 juin 2025, suivis dans les 24 heures d'une hospitalisation ou d'une intervention au bloc opératoire. Les enfants pris en charge par l'un des auteurs ont été exclus. Les chercheurs ont tiré au sort 25 passages dans chacune de quatre tranches d'âge (moins d'un an, 1 à 4 ans, 5 à 11 ans, 12 à 17 ans), soit 100 enfants : âge médian 4 ans, 45 % de filles, 41 % porteurs d'une maladie chronique complexe, dont 10 transférés depuis un autre hôpital.

L'information a été extraite du dossier informatisé et révélée en quatre temps : (1) le triage, avec la note de l'infirmière et les constantes ; (2) l'évaluation médicale initiale, avec l'histoire de la maladie, les antécédents et l'examen clinique, définie à l'avance comme critère principal ; (3) le séjour aux urgences, avec le raisonnement du médecin, la biologie, l'imagerie et les traitements ; (4) l'observation d'admission rédigée par l'équipe d'hospitalisation ou de chirurgie. À chaque étape, chaque « diagnosticien » proposait jusqu'à cinq diagnostics classés.

Dr CaBot reposait sur GPT-5.4 d'OpenAI (effort de raisonnement « élevé »), via un point d'accès Azure conforme à la loi américaine sur les données de santé (HIPAA), avec un prompt (instruction de départ) le plaçant en médecin des urgences pédiatriques de l'hôpital. Deux configurations ont tourné indépendamment : l'une pouvait interroger 1,6 million de résumés d'articles cliniques, jusqu'à 25 recherches par cas, l'autre n'avait aucun accès à la littérature. Côté humain, quatre urgentistes pédiatriques titulaires ont lu les mêmes données, dans le même ordre, sans limite de temps et sans voir les propositions de l'agent.

La référence (le « vrai » diagnostic) a été fixée par deux autres urgentistes pédiatriques à partir du dossier complet, compte rendu de sortie compris. Ils ont ensuite noté chaque liste avec le score de Bond, une échelle de 0 à 5 : 5 si le diagnostic exact figure dans la liste, 4 pour un diagnostic très proche, 3 pour un diagnostic apparenté qui aurait pu aider, 2 pour un diagnostic apparenté peu utile, 0 si rien n'approche. Un score de 4 ou plus compte comme « liste pertinente ». Pour masquer l'origine des listes, toutes ont été réécrites par GPT-5.4 en termes développés et présentées dans un ordre aléatoire.

Pour chaque cas, les auteurs comparent la médiane des scores des quatre médecins à celle des deux configurations de l'agent, avec un test de McNemar (adapté aux comparaisons appariées). Le calcul de puissance, fondé sur une étude antérieure chez l'adulte, visait un écart de 10 points et demandait au moins 77 passages.

Les résultats

À l'évaluation médicale initiale, critère principal, les médecins et Dr CaBot produisent chacun une liste pertinente (score de Bond d'au moins 4) dans 95 cas sur 100. L'écart est nul, avec un intervalle de confiance à 95 % allant de −5,8 à +5,8 points. Aux autres étapes, les chiffres restent très proches : 91 contre 91 au triage, 96 contre 98 après le séjour aux urgences, 98 contre 99 à l'admission (médecins puis agent), sans différence significative.

Critère plus exigeant : le diagnostic classé en premier est-il le bon ? Les médecins y parviennent dans 53, 61, 68 et 73 cas sur 100 aux quatre étapes, l'agent dans 50, 62, 74 et 76 cas, là encore sans différence significative. Donner à l'agent l'accès aux 1,6 million de résumés n'a pas amélioré ses performances de façon détectable.

L'accord entre évaluateurs est imparfait (kappa pondéré de 0,64, une mesure d'accord corrigée du hasard où 1 est parfait). Et sur 34 cas, les évaluateurs ont deviné l'origine des listes dans 91,6 % des cas : celles de l'agent étaient plus longues et plus exotiques.

Traduction clinique, à partir des chiffres de l'étude : sur 100 enfants hospitalisés après un passage aux urgences, au moment où le médecin vient d'examiner l'enfant, environ 5 n'ont ni le bon diagnostic ni un diagnostic très proche dans la liste, que celle-ci vienne de l'agent ou des médecins ; et pour 38 à 39 enfants, le diagnostic cité en premier n'est pas le bon. L'étude ne dit pas si ce sont les mêmes enfants qui posent problème aux deux camps, ni si une combinaison des deux ferait mieux.

Ce qui est bien

Premièrement, des données réelles dévoilées dans l'ordre réel. Des dossiers hospitaliers de 2024-2025, jamais publiés, limitent le risque que le modèle ait vu les cas pendant son entraînement. Les quatre étapes, avec un critère principal fixé à l'avance, montrent comment la performance évolue avec l'information.

Deuxièmement, une méthodologie déclarée. Tirage au sort stratifié par âge, taille d'échantillon justifiée, référence établie par des experts extérieurs aux deux camps, listes réécrites pour masquer leur origine, reporting selon la grille STARD-AI. Les auteurs publient même le résultat qui les dessert : le masquage n'a pas fonctionné.

Troisièmement, un dispositif proche d'un déploiement possible : point d'accès conforme HIPAA, et une comparaison avec et sans recherche bibliographique qui montre que l'outil le plus simple suffit ici. Le financement est public (NIH, subventions T32HD040128 et R01DK137993), philanthropique (Dunleavy Foundation) et institutionnel, et les conflits d'intérêts sont déclarés.

Ce qui est moins bien

Premièrement, un biais de population doublé d'une forme de fuite d'information. Seuls des enfants hospitalisés, dans un grand centre pédiatrique universitaire, ont été inclus. Or beaucoup d'erreurs et de retards diagnostiques concernent les enfants renvoyés à domicile, et la plupart des enfants sont vus dans des urgences générales. Surtout, l'agent lit des notes d'urgentistes pédiatriques experts, parfois rédigées après le début du bilan : le raisonnement du médecin y est déjà inscrit, comme les auteurs le reconnaissent. Machine et médecins comparés profitent donc d'un travail diagnostique déjà entamé, ce qui gonfle la performance de tous.

Deuxièmement, une métrique trompeuse par effet plafond. Quand 95 % des listes sont jugées pertinentes des deux côtés, il reste très peu de place pour voir une différence. L'étude a été dimensionnée pour détecter un écart de 10 points ; elle teste une différence, pas une non-infériorité (démontrer qu'un outil n'est pas moins bon qu'un autre au-delà d'une marge fixée à l'avance). Un intervalle de −5,8 à +5,8 points ne permet donc pas de conclure à l'équivalence. L'échelle de Bond ne pondère pas non plus la gravité : rater une méningite n'est pas rater une gastro-entérite, et l'étude ne rapporte ni analyse des erreurs, ni diagnostics graves manqués, ni résultats par âge.

Troisièmement, un comparateur particulier et un masquage raté. Le camp humain est la médiane de quatre médecins, le camp machine celle de deux configurations : on compare deux agrégats, pas un urgentiste à un outil. Les médecins lisaient des notes, sans voir l'enfant ni subir de pression de temps, loin d'une vraie garde. Et puisque les évaluateurs reconnaissaient l'origine des listes dans plus de neuf cas sur dix, leurs notes ont pu être influencées, dans un sens ou dans l'autre. Les listes plus longues de l'agent pourraient aussi pousser à des examens inutiles, un coût non mesuré. Deux auteurs déclarent des liens avec Google (un salarié de Google LLC, un chercheur invité chez Google DeepMind), alors que le modèle testé vient d'OpenAI.

Ce que ça change

Pour la communauté de recherche, ce préprint apporte un protocole réutilisable (vrais dossiers, information dévoilée par étapes, analyse prévue à l'avance) et montre les limites du score de Bond quand les deux camps sont au plafond. Suite logique : inclure les enfants renvoyés à domicile, tester des notes d'urgences générales, mesurer erreurs graves et examens induits, puis évaluer prospectivement un médecin assisté par l'outil.

Pour les cliniciens, rien ne change aujourd'hui. Dr CaBot est un prototype sans statut réglementaire, et l'étude ne teste pas un médecin aidé par l'outil. Elle indique que, sur des dossiers bien documentés, un LLM généraliste propose des différentiels comparables à ceux de spécialistes : un candidat sérieux pour un rôle de « deuxième avis », s'il ne multiplie pas les fausses pistes.

Pour les patients et le public, la promesse est d'apporter un raisonnement de niveau pédiatrique dans les urgences sans pédiatre. L'étude montre que l'outil n'est pas en retrait de spécialistes dans les conditions les plus favorables, pas encore qu'il réduit les erreurs là où elles se produisent.

Pour aller plus loin

Le préprint : Agentic AI versus pediatric emergency physicians for differential diagnosis of acutely ill and injured children, Georgette, Buckley, Fine et al., Boston Children's Hospital et Harvard Medical School, medRxiv, mis en ligne le 18 novembre 2026, DOI 10.64898/2026.11.16.26367440. Les données sources ne sont pas partageables ; les scores anonymisés sont disponibles sur demande.

L'agent d'origine : Advancing Medical Artificial Intelligence Using a Century of Cases, Buckley et al., arXiv, 2025.

Sur Tatakoto : un juge LLM calibré sur un panel de médecins pour évaluer le raisonnement clinique et le triage par ChatGPT Health en conversation à plusieurs tours.

Mention de transparence éditoriale : cet article a été produit par la chaîne éditoriale automatisée de Tatakoto à partir de la version 1 du préprint (PDF medRxiv, texte principal ; tableaux supplémentaires non consultés). La conversion « sur 100 enfants » reprend directement les proportions publiées. Les versions anglaise, espagnole et chinoise sont générées par IA. Une erreur ? Contactez-nous.