AMIE en visioconsultation : un système multi-agents de Google devance des généralistes dans un OSCE simulé — mais les médecins avaient la caméra éteinte

Une équipe de quarante auteurs de Google Research et Google DeepMind a fait passer à AMIE, son agent conversationnel médical, un examen clinique objectif structuré (OSCE) en visioconsultation : 100 scénarios joués par 15 acteurs professionnels, avec dix médecins généralistes américains en bras de comparaison. AMIE identifie le bon diagnostic principal dans 0,91 des cas contre 0,77 pour les généralistes, et l’ajout de la vidéo fait passer son score d’« observation et examen » de 0,41 à 0,74. Le protocole demandait toutefois aux médecins comparés de garder leur caméra éteinte, restreignait les tableaux cliniques à ce qu’un acteur peut mimer, et les acteurs eux-mêmes — les seuls à avoir vécu la consultation — n’ont trouvé de différence significative que sur 2 des 29 critères qu’ils notaient.

Le contexte

AMIE (Articulate Medical Intelligence Explorer) est la ligne de travail de Google sur les agents de dialogue diagnostique. Les versions précédentes conversaient par écrit : un patient simulé tape ses symptômes, l’agent pose des questions, produit un diagnostic différentiel et un plan de prise en charge. Ces travaux ont montré, dans des OSCE textuels, des scores d’évaluation supérieurs à ceux de médecins placés dans le même format.

La critique évidente était que la médecine de premier recours ne se pratique pas par chat. Une consultation, même à distance, passe par la voix, le rythme, et surtout par ce que le clinicien voit : la démarche, la respiration, la coloration cutanée, la façon dont un patient porte la main à son ventre. La téléconsultation vidéo a d’ailleurs son propre corpus de recommandations sur l’examen physique réalisable à distance — le patient s’auto-palpe, se déplace, oriente sa caméra sous la conduite du médecin.

Passer du texte à la vidéo temps réel pose trois problèmes techniques distincts. La latence : un raisonnement clinique de qualité demande plusieurs secondes de calcul, mais un silence de vingt secondes rend la conversation impraticable. La perception : il faut interpréter un flux audio-vidéo continu, pas une image isolée. La robustesse : cadrage approximatif, bruit de fond, éclairage variable. C’est ce que ce papier, déposé sur arXiv le 10 août 2026, entreprend de résoudre — et de mesurer.

La méthode

AMIE (Video) est un système multi-agents asynchrone : plusieurs modules tournent en parallèle à des rythmes différents, au lieu de s’enchaîner l’un après l’autre. Trois agents, construits sur Gemini 3 Flash et Gemini 3.1 Pro.

Le Talker tient la conversation en temps réel. Pour rester rapide, il travaille avec un budget de calcul minimal et ne regarde que les cinq dernières secondes de vidéo. C’est lui qui orchestre : il consolide les états produits par les deux autres agents, l’historique complet du dialogue et les images récentes.

Le Planner tient le raisonnement clinique : résumé des symptômes, diagnostic différentiel, plan de prise en charge, et une liste d’objectifs conversationnels en cours (informations à recueillir, manœuvres à demander). Il se met à jour à chaque prise de parole du patient, mais son raisonnement profond est limité à une invocation toutes les dix secondes de dialogue.

Le Perception appelle Gemini 3.1 Pro sur une fenêtre vidéo étendue et maintient une mémoire cumulative de tous les indices audio-visuels repérés. Les auteurs ont construit en amont une taxonomie de ces indices, structurée en 14 domaines (abdominal, cardiovasculaire, dermatologique, HEENT, neurologique, comportement douloureux, environnement et installation, etc.) et assortie d’une cotation de faisabilité en téléconsultation, du haut au « inaccessible en audio-vidéo ».

Point important : aucun entraînement ni ajustement fin n’a été réalisé. Les trois agents sont orchestrés par prompting, c’est-à-dire par instructions textuelles données à des modèles Gemini publics. Ce choix rend le résultat plus facile à reproduire conceptuellement — et le rend entièrement dépendant de modèles fermés.

Le gain d’ingénierie le plus net est la latence : l’orchestration asynchrone fait passer le délai moyen par tour de parole de 21,4 secondes [IC 95 % : 20,3–23,0] à 2,6 secondes [2,3–2,8] par rapport à une architecture séquentielle antérieure.

Le protocole d’évaluation. Cent scénarios cliniques ont été écrits par une société canadienne spécialisée dans les OSCE, puis vérifiés par des généralistes américains certifiés. Ils couvrent cinq domaines — cardiopulmonaire, abdominal, ORL-ophtalmologie (HEENT), neurologie-psychiatrie, musculosquelettique — avec deux cas « sans maladie » par domaine. Chaque scénario est assorti d’une grille de 20 points spécifique au cas.

Chaque scénario a été joué trois fois : par AMIE en vidéo, par AMIE en texte seul, et par un généraliste en vidéo. Soit 300 consultations. Quinze acteurs professionnels (7 femmes, 8 hommes, 20 à 75 ans) ont tenu les rôles. Dix généralistes américains certifiés, avec 4,5 ans d’exercice en moyenne après l’internat (1 à 9 ans), constituaient le bras humain. Vingt autres généralistes indépendants, nettement plus expérimentés (14,95 ans en moyenne), ont noté les enregistrements. L’étude est décrite comme partiellement aveugle : les évaluateurs n’étaient pas informés de la source, mais la voix synthétique d’AMIE reste identifiable.

Un détail de protocole conditionne toute la lecture : les médecins du bras humain devaient garder leur caméra éteinte pendant toute la consultation, pour « contrôler » la comparaison avec AMIE qui n’a pas d’avatar. Ils voyaient le patient, mais le patient ne les voyait pas.

Les résultats

Sur le diagnostic différentiel, AMIE (Video) place le bon diagnostic en première position dans 0,91 des cas [0,85–0,96], contre 0,77 [0,68–0,85] pour les généralistes (p = 0,039). Sur 100 scénarios, cela représente 14 cas de plus où le diagnostic principal est le bon. En top-3, l’écart tombe à 0,98 contre 0,90 et n’est plus significatif (p = 0,179). La pertinence du différentiel (0,89 contre 0,80, p = 1,05 × 10⁻³) et son exhaustivité (0,88 contre 0,73, p = 2,38 × 10⁻⁶) séparent plus nettement les deux bras.

Sur les grilles de 20 points propres à chaque cas, le score global est de 0,83 [0,81–0,86] pour AMIE (Video), 0,75 pour AMIE (Text) et 0,68 [0,64–0,72] pour les généralistes. Le domaine qui creuse l’écart est « perception et examen » : 0,74 contre 0,41 pour la version texte et 0,47 pour les médecins. Sur le critère d’observation physique isolé, 0,77 contre 0,30 (texte) et 0,51 (médecins) ; sur l’examen guidé, 0,72 contre 0,51 et 0,39.

Sur les 36 critères notés par les évaluateurs cliniques, 26 favorisent significativement AMIE (Video) sur les généralistes après correction de Benjamini-Hochberg, et aucun ne favorise significativement les généralistes. La pertinence du plan de prise en charge est de 0,79 contre 0,68 (p = 7,55 × 10⁻³). Le critère « éviter la confabulation » est à égalité stricte : 0,93 pour AMIE (Video), 0,95 pour AMIE (Text), 0,93 pour les médecins (p = 1,0).

Le résultat le plus intéressant est celui qui contredit les autres. Les acteurs, qui notaient 29 critères après chaque consultation, n’ont trouvé que deux différences significatives avec les généralistes — « évaluer mon état » (0,91 contre 0,81) et « m’expliquer mon état » (0,88 contre 0,79). Sur plusieurs critères relationnels, la tendance est inverse et favorise les médecins sans atteindre la significativité : construire un partenariat (0,66 contre 0,74), s’intéresser à moi comme personne (0,67 contre 0,77). L’écart massif vu par les évaluateurs sur l’empathie (0,82 contre 0,71) et les compétences interpersonnelles (0,96 contre 0,83) ne se retrouve pas dans le vécu des patients simulés.

Enfin, la perception reste très inégale selon ce qu’il faut voir. Par domaine : comportement douloureux 88 %, dermatologique 75 %, musculosquelettique 70 %, mais communication et comportement 44 % et installation de l’environnement 46 %. Sur des signes précis, l’effondrement est net : nystagmus 3 %, tremblements 24 %, état affectif 29 %.

Ce qui est bien

L’architecture asynchrone résout un problème réel et le prouve par un chiffre. Passer de 21,4 à 2,6 secondes de latence moyenne par tour n’est pas une optimisation cosmétique : c’est la différence entre une démonstration et une conversation. La séparation Talker / Planner / Perception, avec un budget de calcul volontairement asymétrique, est une réponse d’ingénierie propre au conflit entre qualité du raisonnement et temps de réponse.

L’ablation isole honnêtement l’apport de chaque agent. Sur le banc mono-tour de 500 scénarios, le système complet obtient 59 %, l’agent Perception seul 58 %, le Talker seul 42 %. Autrement dit, les auteurs montrent eux-mêmes que l’essentiel du gain vient de la perception et non de l’orchestration globale. En multi-tour, 87 % contre 71 % pour le Talker seul.

Les échecs de perception sont publiés dans le détail. Un papier promotionnel aurait donné le score moyen. Celui-ci publie le tableau par signe, avec les 3 % sur le nystagmus et les 24 % sur les tremblements. C’est cette granularité qui rend le travail critiquable — donc utile.

Ce qui est moins bien

Le comparateur est biaisé, et de plusieurs manières simultanées. C’est le mode d’échec le plus classique de la littérature IA-santé, et il est ici structurel. Les médecins comparés avaient la caméra éteinte — on leur reproche ensuite, sur les grilles de communication et d’empathie, un déficit relationnel dans une consultation où le patient ne voyait pas leur visage. Ils avaient 4,5 ans d’exercice en moyenne, quand les évaluateurs en avaient 15. Ils n’avaient ni dossier médical, ni antériorité, ni examen complémentaire, ni possibilité de revoir le patient — c’est-à-dire aucun des leviers qui font la valeur d’un généraliste réel. Les auteurs reconnaissent explicitement que la caméra éteinte réduit la validité écologique du bras humain.

Le patient est un acteur, et le tableau clinique a été choisi pour être jouable. Le protocole exclut délibérément la pédiatrie, la dermatologie (« les acteurs ne peuvent pas la mimer »), l’obstétrique, la gynécologie, le suivi de maladie chronique et les examens intimes. Les auteurs signalent aussi la difficulté à recruter des acteurs âgés, ce qui sous-représente les pathologies cardiovasculaires sévères et la BPCO. Le champ testé n’est pas la médecine générale : c’est le sous-ensemble de la médecine générale qu’un comédien peut reproduire devant une webcam. S’ajoute un biais de population classique, l’exclusion de fait des patients à faible littératie numérique.

Les juges sont des lecteurs, pas des patients — et les deux ne sont pas d’accord. Vingt-six critères sur trente-six favorisent AMIE selon des cliniciens qui regardent un enregistrement ; les acteurs qui ont vécu l’échange n’en retiennent que deux. Une grille notée sur transcription récompense mécaniquement ce qu’un LLM produit bien : la structure, l’exhaustivité, la reformulation explicite. Le biais est aggravé par un aveuglement seulement partiel — la voix synthétique est reconnaissable, et le bras texte est structurellement identifiable. Le fait que l’ajout de la vidéo n’améliore pas du tout le diagnostic (0,91 contre 0,90 en texte, p = 0,862) suggère par ailleurs que ces scénarios saturent déjà en modalité texte, ce que les auteurs concèdent.

Enfin, sur l’indépendance : les quarante auteurs sont employés de Google Research ou Google DeepMind, l’étude est financée par Alphabet, et ni le code, ni les poids, ni les enregistrements, ni les scénarios ne sont publiés. Les auteurs justifient la rétention par le risque d’usage non supervisé en contexte médical — argument défendable, mais qui rend toute réplication indépendante impossible. Aucune déclaration d’approbation éthique n’apparaît dans le préprint.

Ce que ça change

Pour la communauté de recherche, l’apport net est l’architecture et la taxonomie d’indices audio-visuels, pas le score. Le fait que l’agent Perception seul récupère presque tout le gain (58 % contre 59 % pour le système complet) est une indication forte : le goulot d’étranglement des agents cliniques en vidéo est la perception, pas le raisonnement. C’est un axe de travail directement exploitable, y compris pour des équipes sans accès à Gemini.

Pour les cliniciens, rien ne change aujourd’hui, et les auteurs le disent. Ce qui mérite attention, c’est le résultat sur l’examen guidé (0,72 contre 0,39) : un agent qui sait demander à un patient de se lever, de marcher, d’appuyer à un endroit précis et de réorienter sa caméra fait mieux, sur ce point-là, que des généralistes en téléconsultation. Ce n’est pas un remplacement, c’est une checklist procédurale que la pratique humaine exécute mal quand elle est pressée.

Pour les patients et le public, la prudence s’impose sur ce que le chiffre de 0,91 signifie. Il ne décrit pas la performance d’une IA face à un patient réel : il décrit la performance d’un système face à un acteur jouant un cas écrit à l’avance, comparé à un médecin privé de caméra, de dossier et d’examens. Le résultat significatif à retenir n’est peut-être pas celui-là, mais le décalage entre le jugement des évaluateurs et celui des patients simulés : ce que des cliniciens notent comme une consultation empathique n’est pas nécessairement ce qu’un patient ressent comme telle.

Pour aller plus loin

Le préprint est disponible sur arXiv (2608.09861) sous licence CC BY 4.0, avec les tableaux complets de résultats en annexe. Aucun code, poids ni jeu de données n’est publié. Les modèles sous-jacents (Gemini 3 Flash, Gemini 3.1 Pro) sont documentés par leurs cartes de modèle respectives. Pour le cadre de référence sur l’examen physique réalisable en téléconsultation, voir les recommandations du HHS américain citées par les auteurs.