Consultar la plataforma de datos de un hospital en lenguaje natural: en la Charité, la herramienta comercial AIRE acierta cuando ejecuta una consulta SQL trazable y falla cada vez que no la ejecuta, en 25 preguntas

Un equipo de neurorradiología de la Charité de Berlín conectó una herramienta comercial de consultas en lenguaje natural, AIRE de la empresa israelí Briya, a la plataforma de datos de sus tres hospitales y le hizo 25 preguntas sobre una cohorte de 1.594 pacientes con tumor cerebral. Las cifras fueron casi siempre correctas o verificables cuando la herramienta ejecutaba una consulta registrada en su historial, y sistemáticamente erróneas cuando respondía sin ejecutarla. El estudio es pequeño, de un solo centro y cofinanciado por el proveedor, pero su enseñanza principal es sólida y trasladable: una cifra producida por una IA sobre datos de salud solo vale si se puede ver la consulta que la produjo.

El contexto

Construir una cohorte, es decir, encontrar en los registros de un hospital a todos los pacientes que cumplen unos criterios (un diagnóstico, un rango de edad, una cirugía, un periodo), sigue siendo uno de los primeros pasos de casi cualquier estudio clínico retrospectivo y de cualquier estudio de viabilidad de un ensayo. En la mayoría de los hospitales se hace mediante consultas SQL (el lenguaje estándar para interrogar bases de datos) escritas por informáticos o gestores de datos, lo que genera colas de espera y una fuerte dependencia de los clínicos respecto de unas pocas personas.

Los grandes modelos de lenguaje (LLM, large language models, modelos entrenados con enormes corpus de texto capaces de generar texto o código) prometen eliminar esta barrera: se formula la pregunta en lenguaje corriente, el sistema la traduce a SQL (lo que se denomina text-to-SQL), ejecuta la consulta y devuelve el resultado. La investigación académica sobre el tema es abundante, con bancos de prueba (benchmarks) como EHRSQL, construidos sobre bases públicas de cuidados intensivos. Pero, subrayan los autores, casi todas estas evaluaciones utilizan bases de investigación o prototipos, y rara vez un producto comercial instalado en la infraestructura real de un hospital, con sus codificaciones locales, sus tablas heredadas y sus reglas de gobernanza. Ese es el vacío que pretende llenar este preprint, publicado en medRxiv el 10 de noviembre de 2026 y aún no revisado por pares.

El método

El escenario es la Health Data Platform (HDP) de la Charité – Universitätsmedizin Berlin: un espejo seudonimizado (las identidades se sustituyen por códigos) de los sistemas clínicos de tres hospitales universitarios, con datos administrativos, ingresos, diagnósticos y procedimientos. La herramienta evaluada, AIRE, se instaló en un servidor virtual dentro de la red hospitalaria: el modelo de lenguaje y los componentes de consulta funcionan en el propio centro y ningún dato de paciente sale. El LLM subyacente no se nombra en el preprint. El propio proveedor construyó una capa FHIR (un estándar internacional de intercambio de datos sanitarios) a partir de las tablas de la plataforma; AIRE genera consultas SQL que ejecuta mediante el motor Trino, puede hacer preguntas de aclaración y guarda un registro exportable de cada consulta (hora, código SQL, número de filas, estado).

La cohorte de prueba incluye a los adultos con un código CIE-10 C71 (tumor maligno del encéfalo), usado como aproximación al glioblastoma: 1.594 pacientes según la consulta de referencia. Los autores diseñaron una batería de 25 preguntas en tres bloques: construcción progresiva de la cohorte (adultos, primer diagnóstico entre 2018 y 2023 y después resección quirúrgica), caracterización (por ejemplo, la edad media) y 17 preguntas más variadas (tasa de reintervención, diez diagnósticos más frecuentes, cruce sexo × edad, exposición a radioterapia, intervalo entre diagnóstico y muerte). Para cada pregunta se había escrito a mano una consulta SQL de referencia antes de interrogar a la herramienta. Las reformulaciones permitidas solo precisaban definiciones (campos, fechas, prefijos de códigos), nunca el valor esperado.

Cada respuesta se clasificó en cinco categorías: exacta; concordante tras alinear definiciones; errónea pero trazable (existe una consulta en el registro que permite entender el error); errónea y no registrada (una cifra plausible sin ninguna consulta detrás); sin respuesta. Las preguntas sin respuesta o erróneas se repitieron una vez en una conversación nueva. Dos evaluadores clasificaron de forma independiente las 37 respuestas; su concordancia, medida con el kappa de Cohen (índice de acuerdo corregido por el azar, 1 = acuerdo perfecto), fue de 0,74.

Los resultados

De las 25 preguntas de la primera serie, 11 respuestas fueron exactas, 1 concordante tras la alineación, 3 erróneas pero trazables, 6 erróneas sin consulta registrada y 4 sin respuesta. En el primer intento, sin reformular, solo 6 de 25 respuestas fueron estrictamente exactas, y la primera cifra mostrada fue correcta en 9 de 25 casos. Un ejemplo de desviación trazable: en el paso de la resección, la herramienta encontró 1.248 pacientes en lugar de los 1.275 esperados, porque su lista explícita de códigos de procedimientos (la clasificación alemana OPS) omitía subcódigos más profundos.

El hallazgo central aparece al agrupar las dos series (37 respuestas). De las 23 respuestas respaldadas por una consulta registrada, 22 fueron correctas o al menos verificables; la excepción fue un caso en el que lo mostrado (84 pacientes) no coincidía con el resultado de su propia consulta (101). En cambio, las 8 cifras producidas sin consulta fueron todas erróneas, a veces por mucho: 117 pacientes con solo biopsia en lugar de 258, o 512 pacientes con quimioterapia (32,1 %) en lugar de 142 (8,9 %). La edad media de la misma cohorte se dio como 64,9 años (sin consulta) y luego como 55,1, 53,2 y 52,3 años según la conversación.

Una pista sencilla delata estas respuestas inventadas: el tiempo. Las respuestas con consulta tardaron una mediana de 64 segundos (rango intercuartílico de 57 a 81 segundos); las que no tenían consulta, entre 3 y 6 segundos. Ninguna respuesta errónea no registrada se repitió idéntica en una conversación nueva, lo que sugiere, según los autores, que la herramienta reutilizaba valores acumulados en el hilo en lugar de lanzar una nueva consulta.

En términos concretos: un investigador que hiciera estas 25 preguntas y copiara la primera cifra mostrada obtendría 9 valores correctos y 6 valores erróneos pero creíbles que no habrían dejado rastro. Aplicando una regla estricta (no aceptar ninguna cifra sin consulta visible) habría descartado todos los valores inventados, pero aún habría tenido que leer el SQL de las respuestas trazables para detectar los 3 errores de definición de la primera serie. La herramienta ahorra tiempo de redacción, no de verificación.

Lo que está bien

Primero, un escenario real y poco documentado. La herramienta funciona en la infraestructura de producción de un gran hospital, con sus codificaciones y tablas heredadas, no en una base de demostración. El preprint describe además lo que la prensa omite: pasaron casi dos años entre el inicio del proyecto en octubre de 2024 y la primera consulta exitosa en junio de 2026, de los cuales unos nueve meses fueron trámites regulatorios (evaluación de impacto sobre la protección de datos y doble revisión de seguridad informática), mientras que la instalación por parte del proveedor solo llevó dos semanas una vez disponible el servidor.

Segundo, un esquema de evaluación que separa el error verificable del invisible. En lugar de dar una única tasa de exactitud, los autores distinguen las respuestas erróneas pero trazables de las erróneas sin rastro. Es la distinción útil en la práctica y conduce a recomendaciones operativas: conversaciones cortas y separadas por tema, definiciones repetidas en cada pregunta, rechazo de toda cifra sin consulta visible y nueva ejecución de las consultas críticas en una conversación nueva.

Tercero, una transparencia poco habitual sobre los fallos. Los autores describen un filtro por defecto sobre el estado de verificación de los diagnósticos que la instrucción «sea cual sea el estado» no desactivaba, una capa de presentación que eliminó filas duplicadas y perdió pacientes, y preguntas de estructura idéntica que funcionaron o fallaron según la conversación. Las preguntas, las consultas generadas y de referencia y las entradas de registro correspondientes figuran en el material suplementario.

Lo que está menos bien

Primero, muestras muy pequeñas y una posible métrica engañosa. 25 preguntas, una sola formulación por pregunta, un único reintento, ningún intervalo de confianza: «8 de 8» y «22 de 23» son observaciones llamativas, no tasas estimadas. La sensibilidad a la reformulación, decisiva para una herramienta de texto libre, no se evaluó, y la batería se construyó durante seis semanas sin registro previo.

Segundo, una referencia que no es la verdad clínica, una forma amplia de comparador sesgado. El estándar de referencia es la consulta SQL escrita por el equipo, no una revisión de historias clínicas. Si la plataforma está incompleta, la herramienta y la referencia se equivocan juntas: los propios autores señalan que una mortalidad hospitalaria del 6,3 % es inverosímilmente baja para un glioblastoma, señal de que las muertes fuera del hospital no constan en los datos. El código C71 tampoco equivale solo al glioblastoma. Por último, ninguno de los evaluadores estaba cegado respecto de los valores de referencia, y el primero había realizado él mismo la batería.

Tercero, una generalización incierta y conflictos de interés importantes. Un solo centro, un solo proveedor, una sola versión del producto, una sola cohorte: un caso típico de sesgo de población aplicado a los datos, porque otra plataforma, con otras codificaciones y tablas, podría dar resultados muy diferentes. Briya financió parcialmente el estudio, proporcionó gratuitamente la plataforma, realizó el mapeo de datos y revisó el manuscrito para verificar su exactitud factual; el primer autor recibió parte de su salario de Briya, el último autor declara acuerdos de colaboración con la empresa y la segunda evaluadora es una antigua empleada de Briya. Los autores lo declaran con claridad, pero el lector debe tenerlo presente. Como el modelo de lenguaje subyacente no se nombra, el experimento no es reproducible fuera de este producto.

Lo que cambia

Para la comunidad investigadora, este preprint desplaza la pregunta. La exactitud media de un sistema text-to-SQL importa menos que su capacidad de mostrar lo que realmente ejecutó. Aboga por evaluaciones que midan la procedencia (el vínculo verificable entre una cifra y la consulta que la produjo) y por herramientas que señalen explícitamente la ausencia de consulta como una alerta de falta de fiabilidad, como sugieren los autores a los proveedores.

Para los clínicos y los equipos de datos hospitalarios, la lección es práctica e inmediata: una interfaz conversacional puede acelerar un estudio de viabilidad, pero no sustituye ni la lectura del SQL ni el conocimiento de las trampas de la plataforma (códigos ausentes, filtros implícitos, muertes no registradas). Una respuesta instantánea sin consulta visible debe tratarse como una invención, no como un resultado. Y la integración lleva tiempo: aquí, dos años de gobernanza e informática para dos semanas de instalación.

Para los pacientes y el público, lo que está en juego es indirecto pero real: las cohortes construidas con estas herramientas sirven para decidir qué estudios realizar y a qué pacientes proponer ensayos. Cifras plausibles pero falsas, sin rastro, pueden orientar esas decisiones sin que nadie lo note. El estudio muestra que una regla sencilla de trazabilidad basta para descartarlas en este contexto, siempre que se aplique.

Para saber más

El preprint: Desser D, Brunecker P, Dell'Orco A, Galperin G, Wattjes MP, Nawabi J. «Natural-language cohort queries on a hospital data platform: accuracy and provenance in a real-world evaluation», medRxiv, 2026, DOI 10.64898/2026.11.09.26367645. Las preguntas, consultas y extractos del registro están en el material suplementario S1; las transcripciones completas pueden solicitarse al autor de correspondencia y los datos de pacientes no pueden compartirse. Para situar el trabajo: el benchmark EHRSQL (Lee et al.) y su tarea compartida de 2024 sobre la fiabilidad del text-to-SQL, y Criteria2Query para traducir criterios de elegibilidad de ensayos en consultas.