ChatGPT Health en triage : plus de conversation ne rend pas les conseils plus sûrs

Alvira Tyagi, Girish Nadkarni, Bilal Naved et leurs collègues (Icahn School of Medicine at Mount Sinai et partenaires) ont soumis ChatGPT Health à 255 cas de triage — des vignettes rédigées par des cliniciens, des passages réels aux urgences et des appels réels à une ligne infirmière — pour savoir si dialoguer avec l'IA aide à bien orienter un patient. Résultat : l'accord exact avec les standards humains reste autour de 50 %, et surtout, quand l'IA diverge de la référence infirmière, elle sous-estime l'urgence dans près de sept cas sur dix, un sous-triage grave survenant environ une fois sur dix. La leçon n'est pas un score : c'est une direction d'erreur, la fluidité conversationnelle d'un assistant grand public masque un biais systématique de fausse réassurance, et dialoguer plus longtemps ne le corrige pas — au contraire.

Le contexte

De plus en plus de gens décrivent leurs symptômes à un assistant conversationnel avant de décider s'ils doivent rester chez eux, appeler un médecin ou filer aux urgences. Ce geste, anodin en apparence, est en réalité une tâche de triage : transformer une information incomplète, rapportée par le patient, en un niveau d'urgence. Le triage clinique est une décision sous incertitude qui arbitre entre deux risques opposés — le sur-triage, qui envoie inutilement aux urgences et sature le système, et le sous-triage, qui retarde une prise en charge nécessaire. La direction de l'erreur compte donc autant que sa fréquence.

ChatGPT Health est un assistant santé grand public fondé sur un grand modèle de langage (LLM) — un système entraîné à produire du texte en langage naturel à partir d'une consigne. L'argument de ses défenseurs était le suivant : les évaluations passées, souvent fondées sur une seule question figée, sous-estimeraient des systèmes conçus pour dialoguer. Puisqu'une infirmière de régulation pose des questions successives pour affiner sa décision, un modèle capable d'en faire autant devrait mieux orienter. C'est précisément cette hypothèse — plus de conversation égale meilleur triage — que ce travail met à l'épreuve.

La méthode

Les auteurs mènent une évaluation rétrospective et transversale de ChatGPT Health sur 255 cas issus de trois sources : 39 vignettes standardisées écrites par des cliniciens (couvrant 21 domaines cliniques), 76 passages réels dans un service d'urgences communautaire du Maryland, et 140 appels réels à une ligne de triage infirmier d'un grand système hospitalier américain. Chaque cas est présenté selon deux régimes. En mode « naturel » (single-turn, un seul tour), le modèle reçoit une seule phrase décrivant le symptôme puis produit sa recommandation — l'usage typique d'un patient pressé. En mode « multi-tour » (multi-turn), on demande au modèle de poser une question à la fois, comme une infirmière, avant de conclure ; les évaluateurs répondent d'après le dossier, et « je ne sais pas » quand l'information manque.

Chaque recommandation est classée sur une échelle ordinale à quatre niveaux : A (rester à domicile), B (voir un soignant au-delà de 24 h), C (consulter sous 24 h) et D (aller aux urgences), D étant le plus urgent. Deux références servent d'étalon : l'adjudication par des médecins et le triage infirmier fondé sur les protocoles Schmitt-Thompson, un standard reconnu de régulation téléphonique. On mesure l'accord exact, le kappa de Cohen pondéré (un indice d'accord corrigé du hasard : 0 = hasard, 1 = accord parfait), la distance ordinale moyenne (le nombre de crans d'écart), et surtout la direction de l'erreur — sous- ou sur-triage — avec deux catégories critiques : le sous-triage grave (au moins deux niveaux sous la référence, le mode dangereux) et le sur-triage d'utilisation (au moins deux niveaux au-dessus, le mode coûteux). Toutes les évaluations ont été faites entre le 5 mars et le 21 mai 2026 sur l'application grand public standard, sans prompt système sur mesure, l'historique effacé entre les cas.

Les résultats

L'accord exact est médiocre et stable. Contre le triage infirmier, ChatGPT Health tombe juste dans 52,9 % des cas en mode naturel et 55,7 % en multi-tour ; contre l'adjudication médicale, 54,1 % et 48,2 %. Les kappas pondérés (0,36 à 0,44) traduisent un accord seulement passable à modéré. Autrement dit, le modèle rejoint le standard humain à peu près une fois sur deux — et le passage au dialogue ne change pas cette moitié.

Le vrai signal est ailleurs. Quand l'IA diverge du triage infirmier, l'écart penche massivement du même côté : 70,8 % des désaccords sont des sous-triages en mode naturel (P < 0,0001) et 69,0 % en multi-tour (P < 0,0001). Le modèle sous-estime l'urgence bien plus souvent qu'il ne la surestime. Le sous-triage grave — conseiller de rester chez soi ou d'attendre là où la référence enverrait aux urgences — touche 10,2 % des cas en mode naturel et 8,6 % en multi-tour contre le standard infirmier. Traduit cliniquement : sur 1 000 personnes qui consulteraient ainsi, une centaine recevraient un conseil dangereusement rassurant. Et ce sous-triage grave s'aggrave quand on passe des vignettes synthétiques (5,1 %) aux cas réels (10,5 % aux urgences, 17,9 % en ligne infirmière) : plus le cas ressemble à la vraie vie, plus l'erreur dangereuse est fréquente.

Le dialogue n'aide pas. L'accord exact ne diffère pas significativement entre les deux régimes (test de McNemar, P = 0,43 contre le triage infirmier), et contre le standard médical, le multi-tour tend même à s'éloigner davantage. Pire, en multi-tour, plus la conversation est longue, plus la recommandation s'écarte de la bonne (corrélation de Spearman ρ = 0,162, P = 0,010) — une association absente en mode naturel. Les auteurs notent honnêtement que les cas difficiles appellent naturellement plus de questions, ce qui brouille toute lecture causale, mais le constat tient : allonger la conversation ne rapproche pas de la bonne orientation. Enfin, la performance varie selon le motif : les plaintes respiratoires (75,0 % d'accord) et neurologiques (70,0 %) s'en sortent mieux que les motifs dermatologiques (45,2 %), digestifs (48,8 %) ou inclassables (38,5 %).

Ce qui est bien

Un protocole qui mêle vignettes et vrais patients. Plutôt que de se contenter de vignettes de laboratoire, l'étude confronte le modèle à 216 cas réels (urgences plus ligne infirmière) adjugés par des cliniciens. C'est ce qui révèle le fait le plus inquiétant : le sous-triage grave passe de 5,1 % sur les vignettes à 17,9 % sur les vrais appels. Un test uniquement synthétique aurait rassuré à tort.

La mesure de la direction et de la sévérité de l'erreur, pas seulement de la moyenne. La contribution conceptuelle est là : distinguer l'accord agrégé (autour de 50 %, banal) de la structure de l'erreur (un biais de sous-triage à 70 %, dangereux). En rapportant la distance ordinale, la direction et les catégories critiques, les auteurs montrent qu'un même « 50 % d'accord » peut cacher une population d'erreurs sûres ou meurtrières selon leur sens.

Le test frontal de l'hypothèse « plus de conversation = mieux ». L'étude ne se contente pas de constater une faiblesse : elle réfute directement l'argument classique selon lequel les évaluations à un seul tour seraient injustes envers des systèmes conçus pour dialoguer. En montrant que le multi-tour n'améliore pas — et que les conversations longues empirent la justesse — elle répond à une objection précise et récurrente, avec un plan d'expérience conçu pour cela.

Ce qui est moins bien

La métrique trompeuse, ici prise à revers mais toujours latente. L'article combat lui-même ce piège, mais il rappelle à quel point il est répandu : un communiqué qui annoncerait « ChatGPT Health d'accord avec les infirmières une fois sur deux » serait techniquement vrai et cliniquement dangereux, puisque la moitié qui échoue penche vers la fausse réassurance. À retenir : l'accord global ne dit rien de la sécurité tant qu'on n'a pas regardé la direction des erreurs.

Un étalon-or qui n'en est pas tout à fait un, et pas de test prospectif. Les deux références humaines ne s'accordent elles-mêmes que dans 59,6 % des cas, et le triage infirmier tend à être plus prudent que l'adjudication médicale — la « bonne réponse » est donc floue. Surtout, l'évaluation est rétrospective : elle s'appuie sur des textes de vignettes et des notes de dossier, pas sur de vraies conversations en direct avec de vrais patients qui répondent de travers, oublient des détails ou paniquent. La performance en conditions réelles pourrait être encore pire — ou simplement différente. C'est un biais de mesure assumé, mais réel.

Un seul système, des évaluateurs en formation, et un conflit d'intérêts à noter. Le travail ne teste qu'un produit (ChatGPT Health) à un instant donné (mars–mai 2026) ; un modèle qui évolue vite pourrait se comporter autrement demain. Les évaluateurs qui codent les réponses de l'IA sont majoritairement des étudiants en médecine et un doctorant, avec une fiabilité inter-juges seulement passable pour certains (un évaluateur aberrant a dû être écarté en analyse de sensibilité, sans changer les conclusions). Enfin, un des auteurs seniors déclare un intérêt financier dans Clearstep, une entreprise de triage numérique — déclaré et encadré, mais à garder en tête puisque la conclusion, favorable aux garde-fous déterministes face au « tout génératif », va dans le sens de ce type de produit.

Ce que ça change

Pour la communauté de recherche, le message méthodologique est net : évaluer un assistant de santé grand public sur son seul taux d'accord agrégé ne suffit plus. Il faut mesurer la distance à la référence, la direction de l'erreur, les niveaux d'acuité où elle se concentre, et tester en conditions réelles, pas seulement sur vignettes. L'étude fournit un gabarit — et un code public — pour le faire.

Pour les cliniciens, une conséquence pratique immédiate : intégrer à l'interrogatoire la question « avez-vous consulté une IA avant de venir ? ». Un patient arrivé avec une fausse réassurance générée par un modèle peut avoir tardé ou minimiser ses symptômes ; il faut parfois le « désancrer » d'un conseil erroné. Le sous-triage se concentrant sur les cas de haute acuité (niveaux C-D), c'est précisément là où l'erreur coûte le plus cher que le modèle faiblit.

Pour les patients et le grand public, la leçon est sobre : la fluidité d'un assistant conversationnel n'est pas une garantie de sécurité, et un dialogue plus long ne le rend pas plus fiable. Face à un symptôme aigu — douleur thoracique, difficulté à respirer, signes neurologiques — l'outil peut rassurer à tort. Ces plateformes ont besoin d'avertissements explicites et de garde-fous déterministes, et leur usage comme outil de triage de fait justifierait, selon les auteurs, un encadrement réglementaire au titre de dispositif médical logiciel.

Pour aller plus loin

Le preprint est disponible sur medRxiv (DOI 10.64898/2026.07.21.26358588), sans financement externe, sous licence CC BY-NC-ND 4.0 ; le code d'analyse est sur GitHub et les données sur Zenodo. Pour le contexte, voir l'évaluation structurée de ChatGPT Health par Ramaswamy et al. (Nature Medicine, 2026) et les protocoles de triage infirmier Schmitt-Thompson.