VOICE-AE: graduar los efectos adversos de la radioterapia a partir del audio de las consultas, concordancia cercana a la de expertos pero un modelo «siempre grado 0» ya logra el 76,9 %
Un equipo de la Mayo Clinic montó VOICE-AE, una cadena que transcribe el audio de una consulta de radioterapia, identifica quién habla y luego pide a un gran modelo de lenguaje (LLM) que detecte y gradúe diez efectos adversos según la escala CTCAE. En 390 evaluaciones procedentes de 39 consultas, la concordancia con una referencia de expertos es correcta (kappa ponderado medio de 0,717), pero el 76,9 % de las evaluaciones son de «grado 0»: un modelo que respondiera siempre «nada» ya tendría un 76,9 % de exactitud. La señal es real pero modesta, los grados 1 y 2 siguen mal reconocidos (F1 de 0,58 y 0,57) y los autores admiten que la toxicidad grave no está demostrada.
El contexto
En oncología, cada consulta de seguimiento obliga al clínico a anotar los efectos adversos del tratamiento. El referente es la CTCAE (Common Terminology Criteria for Adverse Events): para cada toxicidad (molestias urinarias, diarrea, etc.), un grado de 0 (ausente) a 5; el grado 2 suele ser aquel en que hace falta algún tipo de manejo. Esta documentación lleva tiempo y varía entre observadores: dos clínicos que escuchan al mismo paciente no siempre anotan lo mismo.
La idea es, pues, dejar que la consulta transcurra con normalidad, grabar la conversación y producir automáticamente un borrador de graduación. Los trabajos anteriores extraían sobre todo las toxicidades del texto ya escrito en la historia; aquí la materia prima es el habla espontánea entre médico y paciente. Está más cerca de la práctica real y es más difícil: dudas, reformulaciones, síntomas mencionados a medias.
El método
La tarea. Para cada consulta y cada una de las diez toxicidades genitourinarias y digestivas seguidas en pacientes tratados por cáncer de próstata, asignar un grado CTCAE ordinal (0, 1, 2, etc.). Es una clasificación ordinal, en la que equivocarse en un grado es menos grave que equivocarse en tres.
La cadena. VOICE-AE encadena el reconocimiento automático del habla (ASR, que convierte el audio en texto), la diarización (que atribuye cada frase a un hablante, médico o paciente) y un LLM (un gran modelo de lenguaje, que lee la transcripción y deduce las toxicidades y su grado). Solo pudimos leer el resumen y los metadatos de la versión de acceso anticipado: los modelos concretos empleados, las instrucciones dadas al LLM y el dispositivo de grabación no figuran en lo que leímos, y no los inventamos.
Los datos. 31 pacientes, 39 consultas, es decir 390 pares consulta–toxicidad, en la Mayo Clinic (Rochester, Minnesota). Un solo centro, pacientes en radioterapia por cáncer de próstata.
La referencia. Seis evaluadores, a ciegas, graduaron las mismas transcripciones. Un agrupamiento jerárquico (un método estadístico que reúne a los evaluadores que se parecen) aisló un subgrupo de tres evaluadores «expertos» cuyo consenso sirve de referencia. El acuerdo entre los seis, medido con el alfa de Krippendorff ordinal (1 = acuerdo perfecto, 0 = azar), es de 0,677.
Los resultados
Métricas de ML. Frente a la referencia, VOICE-AE obtiene un kappa ponderado medio de 0,717 (el kappa mide el acuerdo corregido por el azar; la ponderación penaliza más los errores grandes), un alfa de Krippendorff de 0,669, una exactitud del 82,6 % en el grado exacto y del 99,2 % a un grado de diferencia. Los propios autores dan el comparador trivial que responde siempre «grado 0»: 76,9 % y 93,6 %. En los grados útiles en la práctica, el F1 (media armónica de precisión y exhaustividad) es de 0,58 para el grado 1 y de 0,57 para el grado 2. En detección binaria (toxicidad presente o no): sensibilidad 77,8 %, especificidad 89,0 %, precisión 68,0 %.
Comparación en igualdad de condiciones: el kappa ponderado entre VOICE-AE y los tres expertos es de 0,666, frente a 0,681 entre los propios expertos. El sistema queda, por tanto, ligeramente por debajo del acuerdo interexperto, en la misma zona.
Traducción clínica. De las 390 evaluaciones, 90 tienen un grado distinto de cero (390 menos 300). Una sensibilidad del 77,8 % equivale a detectar unos 70 de esos 90 casos y perder unos 20; una especificidad del 89,0 % equivale a unas 33 falsas alarmas entre las 300 evaluaciones normales (70 verdaderos positivos de 103 alertas, lo que da en efecto un 68 % de precisión). Llevado a 1 000 evaluaciones con la misma proporción de toxicidades, serían unas 180 toxicidades detectadas, 50 perdidas y 85 falsas alarmas. La ganancia de exactitud sobre el modelo trivial representa unas 22 evaluaciones correctas más de 390. Estos órdenes de magnitud son cálculos nuestros a partir del resumen, no valores publicados.
Lo que está bien
Un comparador trivial publicado por los propios autores. Dar 76,9 % y 93,6 % junto a 82,6 % y 99,2 % es una honestidad poco frecuente: el lector puede juzgar la ganancia real en lugar de dejarse impresionar por «99,2 %».
Una referencia que admite el desacuerdo humano. En lugar de fingir que existe una verdad única, el estudio mide el acuerdo entre seis evaluadores (alfa 0,677) y compara el sistema con el acuerdo entre expertos (0,666 frente a 0,681). Es la pregunta adecuada para una tarea en la que los propios clínicos divergen.
Límites nombrados y acceso abierto. Los autores escriben que la exactitud en el grado 2 o superior y la detección de toxicidad grave siguen sin demostrarse, declaran financiación institucional (una subvención del centro oncológico de Mayo, sin papel de los financiadores en el estudio) y ningún conflicto de intereses. El artículo se publica con licencia CC BY 4.0.
Lo que está peor
Una métrica engañosa con clases desequilibradas. Con un 76,9 % de grados 0, la exactitud bruta dice poco; la diferencia con el modelo trivial es de solo 5,7 puntos en el grado exacto. Y el F1 de 0,58 y 0,57 en los grados 1 y 2, los que importan, indica un reconocimiento mediocre de esos niveles intermedios. Una precisión del 68 % significa que aproximadamente una alerta de cada tres es falsa: un borrador para releer con atención, no una graduación para firmar.
Una muestra minúscula y no independiente, en un solo centro. 31 pacientes para 39 consultas: algunos pacientes contribuyen más de una vez y las diez toxicidades de una misma consulta están relacionadas entre sí. Las 390 evaluaciones no son, pues, 390 observaciones independientes, y los intervalos de confianza, que no vimos, deberían reflejarlo. Es un sesgo de población clásico: un servicio, una enfermedad, una sola población de pacientes; nada indica cómo se comporta la cadena con otros acentos, otro idioma u otro ruido de sala.
Una referencia que depende de quienes la definen. El subgrupo de expertos se elige por agrupamiento estadístico entre los mismos seis evaluadores, de modo que la referencia se construye en parte a partir de los datos. Los evaluadores graduaron transcripciones; no sabemos si eran los textos producidos por el reconocimiento de voz del propio sistema, en cuyo caso parte de los errores de escucha estaría ausente de la comparación. Es una validación retrospectiva sobre 39 consultas: ninguna evaluación prospectiva en condiciones clínicas y ningún efecto medido sobre la carga de trabajo o la calidad del seguimiento.
Lo que cambia
Para la comunidad investigadora. El artículo propone un marco de evaluación útil: un comparador trivial, el acuerdo entre evaluadores y una comparación en igualdad de condiciones. Los pasos naturales son cohortes más grandes con más toxicidades de grado 2 o superior, varios centros, evaluación de extremo a extremo sobre audio bruto y publicación del código y de las instrucciones.
Para los clínicos. Hoy no cambia nada: no se demuestra ningún uso clínico y la cadena no se ha probado en toxicidades graves, aquellas en las que un olvido sale más caro. A largo plazo, un borrador de graduación revisado y corregido por el clínico podría aligerar la documentación, siempre que se mida la tasa de falsas alarmas en el servicio concreto.
Para pacientes y público. Grabar una consulta plantea cuestiones de confidencialidad y consentimiento que el resumen no aborda. El beneficio esperado es un seguimiento más homogéneo de los efectos secundarios de una consulta a otra; está por demostrar.
Para ir más lejos
Artículo publicado en npj Digital Medicine: doi.org/10.1038/s41746-026-03373-z (recibido el 10 de abril de 2026, aceptado el 26 de septiembre de 2026, publicado en línea el 10 de octubre de 2026, versión de acceso anticipado, sujeta a modificaciones). Autor de correspondencia: Mark R. Waddle (Mayo Clinic). Financiación: subvención del Mayo Clinic Comprehensive Cancer Center (P30 CA015083) y del Programa Paul Calabresi (K12CA090628); los autores declaran no tener conflictos de intereses. Licencia CC BY 4.0. Hay un archivo suplementario enlazado al artículo; la disponibilidad del código y de los datos no aparece en la página que leímos.
Transparencia editorial: este artículo se elaboró con ayuda de herramientas de inteligencia artificial a partir de la página del artículo en acceso anticipado (resumen y metadatos); no se pudo consultar la sección de Métodos completa y la versión de la revista puede diferir. Las versiones en inglés, español y chino son traducciones automáticas.