ChatGPT Health en el triaje: más conversación no hace que el consejo sea más seguro

Alvira Tyagi, Girish Nadkarni, Bilal Naved y colegas (Icahn School of Medicine at Mount Sinai y colaboradores) sometieron ChatGPT Health a 255 casos de triaje — viñetas escritas por clínicos, visitas reales a urgencias y llamadas reales a una línea de enfermería — para comprobar si conversar con la IA ayuda a orientar al paciente al nivel de atención correcto. El resultado: el acuerdo exacto con los estándares humanos ronda el 50 %, y sobre todo, cuando la IA se aparta del estándar de enfermería subestima la urgencia en casi siete de cada diez casos, con un subtriaje grave aproximadamente una de cada diez veces. La lección no es una cifra: es una dirección de error — la fluidez conversacional de un asistente de consumo enmascara un sesgo sistemático de falsa tranquilidad, y conversar más no lo corrige, lo empeora.

El contexto

Cada vez más personas describen sus síntomas a un asistente conversacional antes de decidir si quedarse en casa, llamar a un médico o ir a urgencias. Ese gesto, en apariencia banal, es en realidad una tarea de triaje: convertir información incompleta, reportada por el paciente, en un nivel de urgencia. El triaje clínico es una decisión bajo incertidumbre que equilibra dos riesgos opuestos — el sobretriaje, que envía innecesariamente a urgencias y satura el sistema, y el subtriaje, que retrasa una atención necesaria. La dirección del error importa, por tanto, tanto como su frecuencia.

ChatGPT Health es un asistente de salud de consumo construido sobre un gran modelo de lenguaje (LLM) — un sistema entrenado para producir texto en lenguaje natural a partir de una consigna. El argumento de sus defensores era el siguiente: las evaluaciones previas, a menudo basadas en una sola pregunta fija, subestimarían sistemas diseñados para dialogar. Como una enfermera de regulación hace preguntas sucesivas para afinar su decisión, un modelo capaz de hacer lo mismo debería orientar mejor. Es precisamente esa hipótesis — más conversación es igual a mejor triaje — la que este trabajo pone a prueba.

El método

Los autores realizan una evaluación retrospectiva y transversal de ChatGPT Health sobre 255 casos de tres fuentes: 39 viñetas estandarizadas escritas por clínicos (que abarcan 21 dominios clínicos), 76 visitas reales a un servicio de urgencias comunitario de Maryland y 140 llamadas reales a una línea de triaje de enfermería de un gran sistema hospitalario estadounidense. Cada caso se presenta bajo dos regímenes. En el modo «natural» (single-turn, un solo turno), el modelo recibe una sola frase que describe el síntoma y luego produce su recomendación — el uso típico de un paciente con prisa. En el modo «multiturno» (multi-turn), se le pide al modelo que haga una pregunta a la vez, como una enfermera, antes de concluir; los evaluadores responden según el expediente, y «no lo sé» cuando falta la información.

Cada recomendación se califica en una escala ordinal de cuatro niveles: A (quedarse en casa), B (ver a un profesional más allá de 24 h), C (buscar atención en 24 h) y D (ir a urgencias), siendo D el más urgente. Dos referencias sirven de patrón: la adjudicación por médicos y el triaje de enfermería basado en los protocolos Schmitt-Thompson, un estándar reconocido de triaje telefónico. Se mide el acuerdo exacto, el kappa de Cohen ponderado (un índice de acuerdo corregido por azar: 0 = azar, 1 = perfecto), la distancia ordinal media (el número de peldaños de diferencia) y, sobre todo, la dirección del error — subtriaje o sobretriaje — con dos categorías críticas: el subtriaje grave (al menos dos niveles por debajo de la referencia, el modo peligroso) y el sobretriaje de utilización (al menos dos niveles por encima, el modo costoso). Todas las evaluaciones se realizaron entre el 5 de marzo y el 21 de mayo de 2026 en la aplicación de consumo estándar, sin prompt de sistema personalizado, con el historial borrado entre casos.

Los resultados

El acuerdo exacto es mediocre y estable. Frente al triaje de enfermería, ChatGPT Health acierta en el 52,9 % de los casos en modo natural y en el 55,7 % en multiturno; frente a la adjudicación médica, 54,1 % y 48,2 %. Los kappas ponderados (0,36 a 0,44) reflejan solo un acuerdo pasable a moderado. Dicho de otro modo, el modelo coincide con el estándar humano aproximadamente la mitad de las veces — y pasar al diálogo no cambia esa mitad.

La verdadera señal está en otro lugar. Cuando la IA se aparta del triaje de enfermería, la diferencia se inclina claramente hacia un lado: el 70,8 % de los desacuerdos son subtriajes en modo natural (P < 0,0001) y el 69,0 % en multiturno (P < 0,0001). El modelo subestima la urgencia mucho más a menudo de lo que la sobreestima. El subtriaje grave — aconsejar quedarse en casa o esperar donde la referencia enviaría a urgencias — afecta al 10,2 % de los casos en modo natural y al 8,6 % en multiturno frente al estándar de enfermería. En términos clínicos: de 1000 personas que consultaran así, un centenar recibiría un consejo peligrosamente tranquilizador. Y ese subtriaje grave empeora al pasar de las viñetas sintéticas (5,1 %) a los casos reales (10,5 % en urgencias, 17,9 % en la línea de enfermería): cuanto más se parece el caso a la vida real, más frecuente es el error peligroso.

El diálogo no ayuda. El acuerdo exacto no difiere significativamente entre los dos regímenes (prueba de McNemar, P = 0,43 frente al triaje de enfermería) y, frente al estándar médico, el multiturno incluso tiende a alejarse más. Peor aún, en multiturno, cuanto más larga es la conversación, más se aleja la recomendación de la correcta (correlación de Spearman ρ = 0,162, P = 0,010) — una asociación ausente en el modo natural. Los autores señalan honestamente que los casos difíciles invitan naturalmente a más preguntas, lo que enturbia cualquier lectura causal, pero el hallazgo se sostiene: alargar la conversación no acerca a la orientación correcta. Por último, el rendimiento varía según el motivo: las quejas respiratorias (75,0 % de acuerdo) y neurológicas (70,0 %) salen mejor paradas que las dermatológicas (45,2 %), digestivas (48,8 %) o inclasificables (38,5 %).

Lo que está bien

Un protocolo que combina viñetas y pacientes reales. En lugar de conformarse con viñetas de laboratorio, el estudio enfrenta al modelo a 216 casos reales (urgencias más línea de enfermería) adjudicados por clínicos. Eso es lo que revela el hecho más inquietante: el subtriaje grave pasa del 5,1 % en las viñetas al 17,9 % en las llamadas reales. Una prueba puramente sintética habría tranquilizado en falso.

Medir la dirección y la gravedad del error, no solo la media. Ahí radica la contribución conceptual: separar el acuerdo agregado (en torno al 50 %, banal) de la estructura del error (un sesgo de subtriaje del 70 %, peligroso). Al reportar la distancia ordinal, la dirección y las categorías críticas, los autores muestran que un mismo «50 % de acuerdo» puede ocultar una población de errores seguros o mortales según su signo.

La prueba frontal de la hipótesis «más conversación = mejor». El estudio no se limita a constatar una debilidad: refuta directamente el argumento clásico de que las evaluaciones de un solo turno son injustas con sistemas diseñados para dialogar. Al mostrar que el multiturno no mejora — y que las conversaciones largas empeoran la exactitud — responde a una objeción precisa y recurrente con un diseño experimental pensado para ello.

Lo que está menos bien

La métrica engañosa, aquí puesta del revés pero siempre latente. El artículo combate esta trampa por sí mismo, pero recuerda lo extendida que está: un comunicado que anunciara «ChatGPT Health coincide con las enfermeras la mitad de las veces» sería técnicamente cierto y clínicamente peligroso, ya que la mitad que falla se inclina hacia la falsa tranquilidad. La lección: el acuerdo global no dice nada sobre la seguridad hasta que se mira la dirección de los errores.

Un patrón oro que no lo es del todo, y sin prueba prospectiva. Las dos referencias humanas coinciden entre sí solo en el 59,6 % de los casos, y el triaje de enfermería tiende a ser más prudente que la adjudicación médica — la «respuesta correcta» es, pues, difusa. Sobre todo, la evaluación es retrospectiva: se apoya en textos de viñetas y notas de expediente, no en conversaciones reales en directo con pacientes reales que responden de forma torpe, olvidan detalles o entran en pánico. El rendimiento en condiciones reales podría ser aún peor — o simplemente diferente. Es un sesgo de medición asumido, pero real.

Un solo sistema, evaluadores en formación y un conflicto de interés a señalar. El trabajo prueba un solo producto (ChatGPT Health) en un momento dado (marzo–mayo de 2026); un modelo que evoluciona rápido podría comportarse de otro modo mañana. Los evaluadores que codifican las respuestas de la IA son en su mayoría estudiantes de medicina y un doctorando, con una fiabilidad entre jueces solo pasable para algunos (hubo que excluir a un evaluador atípico en un análisis de sensibilidad, sin cambiar las conclusiones). Por último, uno de los autores senior declara un interés financiero en Clearstep, una empresa de triaje digital — declarado y gestionado, pero conviene tenerlo en cuenta, ya que la conclusión, favorable a los mecanismos de seguridad deterministas frente al «todo generativo», va en la dirección de este tipo de productos.

Lo que cambia

Para la comunidad de investigación, el mensaje metodológico es claro: evaluar un asistente de salud de consumo solo por su tasa de acuerdo agregada ya no basta. Hay que medir la distancia a la referencia, la dirección del error, los niveles de agudeza donde se concentra y probar en condiciones reales, no solo en viñetas. El estudio ofrece una plantilla — y código público — para hacerlo.

Para los clínicos, una consecuencia práctica inmediata: incorporar al interrogatorio la pregunta «¿consultó a una IA antes de venir?». Un paciente que llega con una falsa tranquilidad generada por un modelo puede haberse retrasado o estar minimizando sus síntomas; a veces hay que «desanclarlo» de un consejo erróneo. Como el subtriaje se concentra en los casos de alta agudeza (niveles C-D), el modelo falla precisamente allí donde el error cuesta más caro.

Para los pacientes y el público, la lección es sobria: la fluidez de un asistente conversacional no garantiza la seguridad, y un diálogo más largo no lo hace más fiable. Ante un síntoma agudo — dolor torácico, dificultad para respirar, signos neurológicos — la herramienta puede tranquilizar de forma equivocada. Estas plataformas necesitan advertencias explícitas y mecanismos de seguridad deterministas, y su uso como herramienta de triaje de facto justificaría, según los autores, una supervisión regulatoria como software como producto sanitario.

Para saber más

El preprint está disponible en medRxiv (DOI 10.64898/2026.07.21.26358588), sin financiación externa, bajo licencia CC BY-NC-ND 4.0; el código de análisis está en GitHub y los datos en Zenodo. Para el contexto, véase la evaluación estructurada de ChatGPT Health por Ramaswamy et al. (Nature Medicine, 2026) y los protocolos de triaje de enfermería Schmitt-Thompson.