RAG et santé publique : 99 % de bonnes réponses au QCM, mais à peine deux tiers de réponses fidèles aux recommandations officielles

Une équipe britannique étend PubHealthBench, un jeu de 7 929 questions tirées de 687 documents de recommandations de santé publique du gouvernement du Royaume-Uni, pour tester le Retrieval-Augmented Generation (RAG) — une technique qui « ancre » les réponses d'un modèle de langue dans un corpus de documents récupérés à la volée. En questions à choix multiple, fournir les bons extraits fait grimper la précision autour de 99 %, au point que de petits modèles ouverts dépassent un gros modèle propriétaire utilisé sans récupération. Mais dès qu'on passe aux réponses libres et qu'on vérifie leur fidélité aux recommandations, la meilleure configuration ne tient que dans 64 % des cas — et l'outil de notation automatique s'effondre exactement sur la dimension « exactitude factuelle ».

Le contexte

Les grands modèles de langue (LLM, pour large language models : les réseaux de type ChatGPT, entraînés à prédire du texte) obtiennent d'excellents scores sur les questionnaires médicaux à choix multiple. Mais deux obstacles les rendent risqués en santé publique. D'abord l'hallucination : le modèle produit une affirmation plausible mais fausse, avec le même aplomb qu'une affirmation correcte. Ensuite l'obsolescence : les recommandations officielles changent — parfois d'une semaine à l'autre pendant une épidémie — alors que les connaissances d'un modèle sont figées à sa date d'entraînement.

Le RAG (Retrieval-Augmented Generation, « génération augmentée par récupération ») est la réponse la plus courante à ces deux problèmes. Le principe : avant de répondre, le système va chercher dans un corpus de documents maintenu à jour les passages les plus pertinents, puis les fournit au modèle comme contexte. La réponse est ainsi « ancrée » dans des sources explicites plutôt que dans la mémoire opaque du modèle. C'est séduisant en théorie ; en pratique, la qualité finale dépend entièrement de ce qu'on récupère et de comment on l'évalue. Un banc d'essai antérieur, PubHealthBench, avait montré qu'aucun modèle ne dépassait 75 % en réponse libre sur ces questions, contre un score humain de 88 % (avec un usage sommaire d'un moteur de recherche) et un plafond de 92,5 % pour le meilleur modèle propriétaire, GPT-4.5, sans récupération. Le papier décrypté ici part de ce constat et demande : que gagne-t-on réellement en ajoutant la récupération, et sait-on seulement le mesurer correctement ?

La méthode

Les auteurs transforment PubHealthBench en banc d'essai de RAG. Les 687 documents de recommandations sont convertis en markdown et découpés selon les niveaux de titres, ce qui produit un corpus de 5 358 fragments (« chunks »). La partie récupération compare trois familles de méthodes. La récupération dense transforme chaque fragment et chaque question en un embedding — un vecteur de nombres censé capturer le sens — et récupère les fragments dont le vecteur est le plus proche de celui de la question ; huit modèles d'embedding sont comparés, de NV-Embed-v2 (8 milliards de paramètres) à de petits encodeurs comme MedCPT ou EmbeddingGemma. La récupération éparse (sparse) repose sur les mots exacts, via TF-IDF et BM25, deux méthodes classiques qui pondèrent les termes rares. La récupération hybride fusionne les deux classements par Reciprocal Rank Fusion (RRF), avec un poids réglable entre dense et éparse. Trois variantes de corpus sont testées : complet, résumé (chaque fragment remplacé par un résumé produit par GPT-4o-mini) et réduit (seuls les fragments de plus de 512 tokens sont résumés).

La qualité de récupération se mesure par le Recall@k (la bonne source figure-t-elle dans les k premiers résultats ?), la MRR (Mean Reciprocal Rank, qui récompense un bon résultat placé haut) et le nDCG@10 (une mesure de qualité de classement des dix premiers). Côté génération, onze LLM sont évalués, de Llama-3.3-70B et MedGemma-27B jusqu'à Gemma-3-1B, d'abord en questions à choix multiple. Pour se rapprocher d'un usage réel, les auteurs isolent 760 questions revues par des experts et présentées sans options, en réponse libre (jusqu'à 15 fragments de contexte, plafonnés à 10 000 tokens). Comme on ne peut pas noter des milliers de réponses libres à la main, ils introduisent un LLM-as-a-judge : un modèle (GPT-OSS-120B) note chaque réponse sur quatre critères — fidélité (ne rien ajouter qui ne soit dans la source), complétude, clarté, exactitude factuelle. Point crucial : ce juge est validé contre deux annotateurs humains sur 100 réponses, avec le kappa de Cohen (κ, un accord corrigé du hasard : 0 = hasard, 1 = accord parfait). À noter enfin, une source de biais que les auteurs signalent : le banc d'essai a lui-même été généré par Llama-3.3-70B, l'un des modèles ensuite évalués.

Les résultats

Sur la récupération, le classement est net. Le meilleur encodeur dense, NV-Embed-v2, atteint un Recall@10 de 0,98, une MRR de 0,85 et un nDCG@10 de 0,88 ; l'hybride le pousse à 0,99 / 0,88 / 0,91. Les petits encodeurs décrochent lourdement — EmbeddingGemma et MedCPT tombent autour de 0,24–0,27 de précision au premier rang — mais l'hybride leur redonne 5 à 10 points. Deux enseignements pratiques : au-delà de 700 à 800 mots par fragment, la qualité de classement chute, et aucun modèle n'obtient son meilleur résultat sur le corpus « résumé ». Résumer pour condenser dégrade la récupération.

Sur les questions à choix multiple, l'effet de la récupération est spectaculaire. Fournir le bon contexte porte la quasi-totalité des modèles autour de 99 % : Llama-3.3-70B à 0,995, MedGemma-27B à 0,992, et même le petit Gemma-3-4B à 0,956 ; seul Gemma-3-1B reste à la traîne (0,664). Tous sauf ce dernier dépassent le score humain de 88 %, et plusieurs battent le plafond de 92,5 % de GPT-4.5 sans récupération — un modèle ouvert de 8 milliards de paramètres, bien alimenté, surpasse un gros modèle propriétaire mal alimenté. Le gain apparaît dès un seul fragment de contexte et culmine vers trois à cinq.

Puis vient la réponse libre, et le tableau se retourne. La complétude et la clarté restent hautes (souvent 0,88 à 0,97), mais la fidélité — ne pas ajouter d'affirmation absente de la source citée — n'est atteinte, pour le meilleur modèle, que dans 0,64 des cas ; globalement, seule la moitié aux deux tiers des réponses passent ce critère. Et elle se dégrade à mesure que la bonne source est récupérée plus bas dans la liste. Traduction concrète : sur trois réponses en apparence bien rédigées et « sourcées », une environ ajoute des éléments que les recommandations citées ne soutiennent pas. En santé publique, où un conseil touche des populations entières, un ajout non fidèle — une posologie de trop, une exclusion oubliée — ne se rattrape pas au cas par cas. Pire, le juge automatique censé mesurer l'exactitude factuelle ne reproduit pas les jugements humains sur ce point : son accord avec les annotateurs y est quasi nul (κ de 0,06 et 0,17), là où il est correct sur la fidélité (κ 0,64 à 0,71) et la complétude (κ 0,57 à 0,59). L'instrument est aveugle précisément là où l'enjeu clinique est le plus fort.

Ce qui est bien

Une évaluation ancrée dans de vraies recommandations, et au-delà du QCM. Le banc d'essai ne repose pas sur des questions artificielles mais sur 687 documents officiels de santé publique couvrant dix domaines. Surtout, les auteurs ne se contentent pas du confort des choix multiples : ils construisent un jeu de réponses libres revu par des experts, c'est-à-dire la seule forme qui ressemble à un usage réel. C'est ce déplacement qui révèle l'écart entre 99 % au quiz et 64 % de fidélité.

Un résultat pratique clair et reproductible. La récupération est le levier principal ; un petit modèle ouvert correctement alimenté rivalise avec, voire dépasse, un gros modèle propriétaire sans récupération. Les réglages qui marchent sont documentés (hybride par fusion de rangs, pondération, TF-IDF, corpus non résumé), et le tout est publié sous licence ouverte CC BY 4.0 — de quoi rejouer et contester les mesures.

Une auto-critique méthodologique rare. Les auteurs valident leur juge automatique contre deux annotateurs humains, publient les accords critère par critère, et disent noir sur blanc que la note d'« exactitude factuelle » n'est pas fiable et qu'il faut donc l'interpréter avec prudence. Dans une littérature qui vend volontiers le « LLM-as-a-judge » comme une vérité, cette honnêteté sur les limites de l'instrument est à porter à leur crédit.

Ce qui est moins bien

Une métrique trompeuse au premier plan. Le chiffre spectaculaire — ~99 % — est un score de QCM, et les auteurs reconnaissent eux-mêmes qu'il surestime la capacité réelle : à choix multiple, un modèle peut éliminer les mauvaises options et grappiller du crédit partiel sans vraiment maîtriser le contenu. La preuve est interne au papier : la haute précision au QCM persiste même quand le fragment récupéré n'est pas la bonne source. La vraie histoire n'est pas le 99 %, c'est le 0,64 de fidélité en réponse libre.

Une circularité d'évaluation et un comparateur biaisé. Le banc d'essai a été généré par Llama-3.3-70B — qui se retrouve ensuite premier du classement à 0,995. Évaluer un modèle sur des questions qu'il a lui-même produites est une forme de fuite : les questions sont « répondables par construction » à partir du corpus, sans jamais tester le raisonnement à travers plusieurs fragments ni la capacité à dire « je ne sais pas » sur une question hors corpus. S'ajoute un comparateur biaisé côté évaluation : le juge LLM est instable sur l'exactitude factuelle (accord quasi nul avec les humains), si bien que la dimension la plus critique en santé n'est, au fond, pas mesurée de façon fiable.

Un biais de population et une fragilité au déploiement. Tout repose sur les recommandations du seul gouvernement britannique, en anglais, à un niveau populationnel : rien ne garantit que ces résultats se transposent à un autre pays, un autre système de santé ou une autre langue. Et le mode d'échec dominant est instructif : les modèles ont tendance à en dire trop, à incorporer des recommandations au-delà de ce qui est demandé, ce qui réduit la précision et multiplie les occasions de malentendu. Maîtriser le périmètre de la réponse — ne pas ajouter de conseil non sollicité — reste le défi non résolu, et c'est précisément ce qui sépare un prototype d'un outil déployable.

Ce que ça change

Pour la communauté de recherche, le message est méthodologique : évaluer un LLM médical au QCM est trompeur, et il faut lui préférer des évaluations de fidélité en réponse libre, adossées à des juges eux-mêmes validés contre des humains. Le papier trace les chantiers utiles : des juges automatiques fiables sur l'exactitude factuelle (aujourd'hui manquants), une récupération capable de raisonner à travers plusieurs fragments, et des jeux de test qui incluent des questions sans réponse dans le corpus pour vérifier que le système sait refuser.

Pour les cliniciens et les agences de santé, le RAG ancré dans un corpus à jour est une piste crédible pour aligner un assistant sur les recommandations officielles sans réentraîner le modèle — un atout réel quand les consignes changent vite, en épidémie notamment. Mais rien n'est déployable en l'état : tant que la fidélité plafonne autour de deux tiers et que le contrôle du périmètre n'est pas résolu, un tel assistant reste un outil d'aide sous supervision, pas une source autonome.

Pour les patients et le grand public, la leçon est une hygiène de lecture. Un assistant qui « cite les recommandations officielles » n'est pas pour autant fidèle à ce qu'elles disent : dans cette étude, environ une réponse libre sur trois ajoute des éléments non soutenus par la source affichée. Un excellent score à un quiz ne dit rien de la sûreté d'un conseil rédigé en toutes lettres — et c'est ce dernier qui compte quand on cherche une information de santé.

Pour aller plus loin

Le préprint est disponible sur arXiv (10.48550/arXiv.2607.06641), sous licence CC BY 4.0. Sur les limites des LLM en contexte clinique sensible, voir notre décryptage sur la sécurité clinique des LLM à la frontière de la décision ; sur un LLM appliqué au diagnostic à partir de notes cliniques, celui de GenoSolver pour les maladies rares ; et sur l'effet du format de réponse d'un modèle, celui de GPT-4 en radiologie et la mise en forme de ses explications.

Transparence éditoriale : version française rédigée et signée par la rédaction de Tatakoto à partir de la lecture du préprint. Traductions anglaise, espagnole et chinoise produites avec assistance IA et relues.