VOICE-AE : noter les effets indésirables de la radiothérapie à partir de l'audio des consultations, une concordance proche des experts mais un modèle « toujours grade 0 » déjà à 76,9 %
Une équipe de la Mayo Clinic a assemblé VOICE-AE, une chaîne qui transcrit l'audio d'une consultation de radiothérapie, identifie qui parle, puis demande à un grand modèle de langage (LLM) de repérer et de grader dix effets indésirables selon l'échelle CTCAE. Sur 390 évaluations issues de 39 consultations, la concordance avec une référence d'experts est correcte (kappa pondéré moyen de 0,717), mais 76,9 % des évaluations valent « grade 0 » : un modèle qui répondrait toujours « rien » aurait déjà 76,9 % d'exactitude. Le signal est réel mais modeste, les grades 1 et 2 restent mal reconnus (F1 de 0,58 et 0,57) et les auteurs reconnaissent que les toxicités sévères ne sont pas démontrées.
Le contexte
En oncologie, chaque consultation de suivi oblige le clinicien à noter les effets indésirables du traitement. Le référentiel utilisé est la CTCAE (Common Terminology Criteria for Adverse Events) : pour chaque toxicité (par exemple la gêne urinaire ou la diarrhée), un grade de 0 (absente) à 5, le grade 2 étant en général celui où une prise en charge devient nécessaire. Cette documentation prend du temps et varie d'un observateur à l'autre : deux cliniciens qui écoutent le même patient ne notent pas toujours la même chose.
L'idée est donc de laisser la consultation se dérouler normalement, d'enregistrer la conversation, et de produire automatiquement un brouillon de cotation. Les travaux précédents extrayaient plutôt les toxicités du texte déjà écrit dans le dossier ; ici, la matière première est la parole spontanée entre le médecin et le patient. C'est plus proche du geste réel, et plus difficile : hésitations, reformulations, symptômes évoqués à demi-mot.
La méthode
La tâche. Pour chaque consultation et chacune des dix toxicités génito-urinaires et digestives suivies chez des patients traités pour un cancer de la prostate, attribuer un grade CTCAE ordinal (0, 1, 2, etc.). C'est donc une classification ordinale, où se tromper d'un grade est moins grave que de se tromper de trois.
La chaîne. VOICE-AE enchaîne la reconnaissance automatique de la parole (ASR, qui convertit l'audio en texte), la diarisation (qui attribue chaque phrase à un locuteur, médecin ou patient) et un LLM (un modèle de langage de grande taille, qui lit la transcription et en déduit les toxicités et leur grade). Nous n'avons pu consulter que le résumé et les métadonnées de la version en accès anticipé : les modèles précis employés, les consignes données au LLM et le dispositif d'enregistrement ne figurent pas dans ce que nous avons lu, et nous ne les inventons pas.
Les données. 31 patients, 39 consultations, soit 390 couples consultation–toxicité, à la Mayo Clinic (Rochester, Minnesota). Un seul centre, des patients en radiothérapie pour cancer de la prostate.
La référence. Six évaluateurs, en aveugle, ont gradé les mêmes transcriptions. Un regroupement hiérarchique (une méthode statistique qui rassemble les évaluateurs qui se ressemblent) a isolé un sous-groupe de trois évaluateurs « experts » dont le consensus sert de référence. L'accord entre les six, mesuré par l'alpha de Krippendorff ordinal (1 = accord parfait, 0 = hasard), est de 0,677.
Les résultats
Métriques ML. Face à la référence, VOICE-AE obtient un kappa pondéré moyen de 0,717 (le kappa mesure l'accord corrigé du hasard, la pondération pénalisant davantage les grosses erreurs), un alpha de Krippendorff de 0,669, une exactitude de 82,6 % sur le grade exact et de 99,2 % à un grade près. Les auteurs donnent eux-mêmes le comparateur trivial qui répond toujours « grade 0 » : 76,9 % et 93,6 %. Sur les grades utiles en pratique, le F1 (moyenne harmonique de la précision et du rappel) est de 0,58 pour le grade 1 et de 0,57 pour le grade 2. En détection binaire (toxicité présente ou non) : sensibilité 77,8 %, spécificité 89,0 %, précision 68,0 %.
Comparaison à armes égales : le kappa pondéré entre VOICE-AE et les trois experts est de 0,666, contre 0,681 entre les experts eux-mêmes. Le système se situe donc légèrement sous l'accord inter-experts, dans la même zone.
Traduction clinique. Sur les 390 évaluations, 90 ont un grade non nul (390 moins 300). Une sensibilité de 77,8 % revient à repérer environ 70 de ces 90 cas et à en manquer environ 20 ; une spécificité de 89,0 % revient à environ 33 fausses alertes sur les 300 évaluations normales (70 vrais positifs sur 103 alertes, soit bien 68 % de précision). Ramené à 1 000 évaluations avec la même proportion de toxicités, cela ferait environ 180 toxicités repérées, 50 manquées et 85 fausses alertes. Quant au gain d'exactitude sur le modèle trivial, il représente environ 22 évaluations correctes de plus sur 390. Ces ordres de grandeur sont nos calculs à partir du résumé, pas des valeurs publiées.
Ce qui est bien
Un comparateur trivial publié par les auteurs eux-mêmes. Donner 76,9 % et 93,6 % à côté de 82,6 % et 99,2 % est une honnêteté rare : le lecteur peut juger du gain réel au lieu de se laisser impressionner par « 99,2 % ».
Une référence qui admet le désaccord humain. Plutôt que de prétendre qu'une vérité unique existe, l'étude mesure l'accord entre six évaluateurs (alpha de 0,677) et compare le système à l'accord entre experts (0,666 contre 0,681). C'est la bonne question pour une tâche où les cliniciens eux-mêmes divergent.
Des limites nommées et un accès ouvert. Les auteurs écrivent que la précision au grade 2 ou plus et la détection des toxicités sévères restent non démontrées, déclarent un financement institutionnel (subvention de centre de cancérologie Mayo, sans rôle des financeurs dans l'étude) et aucun conflit d'intérêts. L'article est publié sous licence CC BY 4.0.
Ce qui est moins bien
Une métrique trompeuse sur classes déséquilibrées. Avec 76,9 % de grades 0, l'exactitude brute dit peu de chose ; l'écart avec le modèle trivial n'est que de 5,7 points sur le grade exact. Et le F1 de 0,58 et 0,57 sur les grades 1 et 2, ceux qui comptent, indique une reconnaissance médiocre de ces niveaux intermédiaires. Une précision de 68 % signifie qu'environ une alerte sur trois est une fausse alerte : un brouillon à relire de près, pas une cotation à signer.
Un échantillon minuscule et non indépendant, dans un seul centre. 31 patients pour 39 consultations : certains patients contribuent plusieurs fois, et les dix toxicités d'une même consultation sont liées entre elles. Les 390 évaluations ne sont donc pas 390 observations indépendantes, et les intervalles de confiance, que nous n'avons pas vus, devraient le refléter. C'est un biais de population classique : un service, une pathologie, une seule population de patients ; rien ne dit comment la chaîne se comporte avec des accents différents, une autre langue, un autre bruit de salle.
Une référence qui dépend de ceux qui la définissent. Le sous-groupe d'experts est choisi par regroupement statistique parmi les six mêmes évaluateurs ; la référence est donc en partie construite à partir des données. Les évaluateurs ont noté des transcriptions ; nous ne savons pas si ces textes étaient ceux produits par la reconnaissance vocale du système, auquel cas une partie des erreurs d'écoute serait absente de la comparaison. Il s'agit d'une validation rétrospective sur 39 consultations : aucune évaluation prospective en conditions de clinique, et aucun effet mesuré sur le temps de travail ou la qualité du suivi.
Ce que ça change
Pour la communauté de recherche. Le papier propose un cadre d'évaluation utile : un comparateur trivial, un accord inter-évaluateurs et une comparaison « à armes égales ». Les suites naturelles sont des cohortes plus grandes avec davantage de toxicités de grade 2 ou plus, plusieurs centres, l'évaluation sur l'audio brut de bout en bout et la publication du code et des consignes.
Pour les cliniciens. Rien ne change aujourd'hui : aucun usage clinique n'est démontré et la chaîne n'a pas été testée sur les toxicités sévères, celles pour lesquelles un oubli coûte le plus cher. À terme, un brouillon de cotation relu et corrigé par le clinicien pourrait alléger la documentation, à condition de mesurer le taux de fausses alertes dans le service concerné.
Pour les patients et le public. L'enregistrement d'une consultation est un enjeu de confidentialité et de consentement que le résumé n'aborde pas. Le bénéfice espéré est un suivi plus homogène des effets secondaires d'une consultation à l'autre ; il reste à démontrer.
Pour aller plus loin
Article publié dans npj Digital Medicine : doi.org/10.1038/s41746-026-03373-z (reçu le 10 avril 2026, accepté le 26 septembre 2026, publié en ligne le 10 octobre 2026, version en accès anticipé, sujette à modification). Auteur de correspondance : Mark R. Waddle (Mayo Clinic). Financement : subvention de centre Mayo Clinic Comprehensive Cancer Center (P30 CA015083) et programme Paul Calabresi (K12CA090628) ; les auteurs ne déclarent aucun conflit d'intérêts. Licence CC BY 4.0. Un fichier supplémentaire est lié à l'article ; la disponibilité du code et des données n'apparaît pas dans la page que nous avons lue.
Transparence éditoriale : cet article a été produit avec l'aide d'outils d'intelligence artificielle à partir de la page de l'article en accès anticipé (résumé et métadonnées) ; la section Méthodes complète n'a pas pu être consultée et la version de la revue peut différer. Les versions anglaise, espagnole et chinoise sont des traductions automatiques.