RAG y salud pública: 99 % de aciertos en opción múltiple, pero apenas dos tercios de respuestas fieles a las recomendaciones oficiales

Un equipo británico amplía PubHealthBench, un conjunto de 7929 preguntas extraídas de 687 documentos de recomendaciones de salud pública del Gobierno del Reino Unido, para probar la Retrieval-Augmented Generation (RAG) — una técnica que «ancla» las respuestas de un modelo de lenguaje en un corpus de documentos recuperados sobre la marcha. En preguntas de opción múltiple, proporcionar los pasajes correctos eleva la precisión a cerca del 99 %, hasta el punto de que modelos abiertos pequeños superan a uno propietario grande usado sin recuperación. Pero en cuanto se pasa a respuestas libres y se verifica su fidelidad a las recomendaciones, la mejor configuración solo se sostiene el 64 % de las veces — y la herramienta de puntuación automática se hunde exactamente en la dimensión «exactitud factual».

El contexto

Los grandes modelos de lenguaje (LLM, por large language models: las redes tipo ChatGPT, entrenadas para predecir texto) obtienen puntuaciones excelentes en cuestionarios médicos de opción múltiple. Pero dos obstáculos los vuelven arriesgados en salud pública. Primero, la alucinación: el modelo produce una afirmación plausible pero falsa, con el mismo aplomo que una correcta. Segundo, la obsolescencia: las recomendaciones oficiales cambian —a veces de una semana a otra durante una epidemia— mientras que el conocimiento de un modelo queda congelado en su fecha de entrenamiento.

La RAG (Retrieval-Augmented Generation, «generación aumentada por recuperación») es la respuesta más común a ambos problemas. El principio: antes de responder, el sistema busca en un corpus actualizado los pasajes más pertinentes y luego los proporciona al modelo como contexto. La respuesta queda así «anclada» en fuentes explícitas y no en la memoria opaca del modelo. Atractivo en teoría; en la práctica, la calidad final depende por completo de qué se recupera y de cómo se evalúa. Un banco de pruebas anterior, PubHealthBench, había mostrado que ningún modelo superaba el 75 % en respuesta libre a estas preguntas, frente a un 88 % humano (con un uso somero de un buscador) y un techo del 92,5 % para el mejor modelo propietario, GPT-4.5, sin recuperación. El artículo aquí descifrado parte de eso y pregunta: ¿qué se gana realmente al añadir la recuperación, y sabemos siquiera medirlo correctamente?

El método

Los autores convierten PubHealthBench en un banco de pruebas de RAG. Los 687 documentos de recomendaciones se transforman en markdown y se dividen por niveles de encabezado, lo que produce un corpus de 5358 fragmentos («chunks»). La parte de recuperación compara tres familias de métodos. La recuperación densa convierte cada fragmento y cada pregunta en un embedding —un vector de números que pretende capturar el sentido— y recupera los fragmentos cuyo vector es más cercano al de la pregunta; se comparan ocho modelos de embedding, desde NV-Embed-v2 (8000 millones de parámetros) hasta pequeños codificadores como MedCPT o EmbeddingGemma. La recuperación dispersa (sparse) se basa en las palabras exactas, mediante TF-IDF y BM25, dos métodos clásicos que ponderan los términos raros. La recuperación híbrida fusiona ambas clasificaciones mediante Reciprocal Rank Fusion (RRF), con un peso ajustable entre densa y dispersa. Se prueban tres variantes de corpus: completo, resumido (cada fragmento reemplazado por un resumen producido por GPT-4o-mini) y reducido (solo se resumen los fragmentos de más de 512 tokens).

La calidad de recuperación se mide con el Recall@k (¿aparece la fuente correcta entre los k primeros resultados?), la MRR (Mean Reciprocal Rank, que premia un buen resultado situado alto) y el nDCG@10 (una medida de calidad de ordenación de los diez primeros). En cuanto a la generación, se evalúan once LLM, desde Llama-3.3-70B y MedGemma-27B hasta Gemma-3-1B, primero en preguntas de opción múltiple. Para acercarse a un uso real, los autores aíslan 760 preguntas revisadas por expertos y presentadas sin opciones, en respuesta libre (hasta 15 fragmentos de contexto, con un tope de 10 000 tokens). Como no se pueden puntuar a mano miles de respuestas libres, introducen un LLM-as-a-judge: un modelo (GPT-OSS-120B) califica cada respuesta según cuatro criterios —fidelidad (no añadir nada ausente de la fuente), completitud, claridad, exactitud factual—. Crucial: este juez se valida contra dos anotadores humanos sobre 100 respuestas, con el kappa de Cohen (κ, un acuerdo corregido por azar: 0 = azar, 1 = acuerdo perfecto). Cabe señalar un sesgo que los propios autores advierten: el banco de pruebas fue generado por Llama-3.3-70B, uno de los modelos luego evaluados.

Los resultados

En la recuperación, la clasificación es clara. El mejor codificador denso, NV-Embed-v2, alcanza un Recall@10 de 0,98, una MRR de 0,85 y un nDCG@10 de 0,88; el híbrido lo empuja a 0,99 / 0,88 / 0,91. Los codificadores pequeños se descuelgan con fuerza —EmbeddingGemma y MedCPT caen a alrededor de 0,24–0,27 de precisión en el primer puesto— pero el híbrido les devuelve de 5 a 10 puntos. Dos enseñanzas prácticas: más allá de 700 a 800 palabras por fragmento, la calidad de ordenación cae, y ningún modelo obtiene su mejor resultado con el corpus «resumido». Resumir para condensar degrada la recuperación.

En las preguntas de opción múltiple, el efecto de la recuperación es espectacular. Proporcionar el contexto correcto lleva casi todos los modelos a cerca del 99 %: Llama-3.3-70B a 0,995, MedGemma-27B a 0,992, e incluso el pequeño Gemma-3-4B a 0,956; solo Gemma-3-1B se queda atrás (0,664). Todos salvo este último superan el 88 % humano, y varios baten el techo del 92,5 % de GPT-4.5 sin recuperación —un modelo abierto de 8000 millones de parámetros, bien alimentado, supera a uno propietario grande mal alimentado—. La ganancia aparece ya con un solo fragmento de contexto y culmina hacia tres a cinco.

Luego llega la respuesta libre, y el cuadro se invierte. La completitud y la claridad se mantienen altas (a menudo 0,88 a 0,97), pero la fidelidad —no añadir ninguna afirmación ausente de la fuente citada— solo se cumple, para el mejor modelo, en 0,64 de los casos; en conjunto, solo entre la mitad y dos tercios de las respuestas superan este criterio. Y se degrada a medida que la fuente correcta se recupera más abajo en la lista. Traducción concreta: de tres respuestas aparentemente bien redactadas y «con fuentes», cerca de una añade elementos que las recomendaciones citadas no sostienen. En salud pública, donde un consejo alcanza a poblaciones enteras, un añadido infiel —una dosis de más, una exclusión olvidada— no se corrige caso por caso. Peor aún, el juez automático que debía medir la exactitud factual no reproduce los juicios humanos en ese punto: su acuerdo con los anotadores es casi nulo (κ de 0,06 y 0,17), mientras que es correcto en fidelidad (κ 0,64 a 0,71) y completitud (κ 0,57 a 0,59). El instrumento está ciego justo donde el riesgo clínico es mayor.

Lo que está bien

Una evaluación anclada en recomendaciones reales, y más allá de la opción múltiple. El banco de pruebas no se basa en preguntas artificiales sino en 687 documentos oficiales de salud pública que cubren diez dominios. Sobre todo, los autores no se conforman con la comodidad de la opción múltiple: construyen un conjunto de respuestas libres revisado por expertos, la única forma que se parece a un uso real. Es ese desplazamiento el que revela la brecha entre el 99 % del cuestionario y el 64 % de fidelidad.

Un resultado práctico claro y reproducible. La recuperación es la palanca principal; un modelo abierto pequeño bien alimentado rivaliza con, e incluso supera, a uno propietario grande sin recuperación. Los ajustes que funcionan están documentados (híbrido por fusión de rangos, ponderación, TF-IDF, corpus sin resumir), y todo se publica bajo licencia abierta CC BY 4.0 —suficiente para reproducir y cuestionar las mediciones—.

Una autocrítica metodológica poco frecuente. Los autores validan su juez automático contra dos anotadores humanos, publican los acuerdos criterio por criterio, y dicen sin rodeos que la puntuación de «exactitud factual» no es fiable y debe interpretarse con cautela. En una literatura que vende con facilidad el «LLM-as-a-judge» como una verdad, esta honestidad sobre los límites del instrumento hay que apuntarla a su favor.

Lo que está menos bien

Una métrica engañosa en primer plano. La cifra espectacular —~99 %— es una puntuación de opción múltiple, y los propios autores reconocen que sobreestima la capacidad real: en opción múltiple, un modelo puede eliminar las opciones incorrectas y arañar crédito parcial sin dominar de verdad el contenido. La prueba es interna al artículo: la alta precisión en opción múltiple persiste incluso cuando el fragmento recuperado no es la fuente correcta. La verdadera historia no es el 99 %, es el 0,64 de fidelidad en respuesta libre.

Una circularidad de evaluación y un comparador sesgado. El banco de pruebas fue generado por Llama-3.3-70B —que luego encabeza la clasificación con 0,995—. Evaluar un modelo con preguntas que él mismo produjo es una forma de fuga: las preguntas son «respondibles por construcción» a partir del corpus, sin poner a prueba nunca el razonamiento a través de varios fragmentos ni la capacidad de decir «no lo sé» ante una pregunta fuera del corpus. Se suma un comparador sesgado del lado de la evaluación: el juez LLM es inestable en exactitud factual (acuerdo casi nulo con los humanos), de modo que la dimensión más crítica en salud, en el fondo, no se mide de forma fiable.

Un sesgo de población y una fragilidad en el despliegue. Todo se apoya en las recomendaciones de un único gobierno —el británico—, en inglés, a un nivel poblacional: nada garantiza que estos resultados se trasladen a otro país, otro sistema de salud u otra lengua. Y el modo de fallo dominante es revelador: los modelos tienden a decir de más, a incorporar recomendaciones más allá de lo que se pide, lo que reduce la precisión y multiplica las ocasiones de malentendido. Controlar el alcance de la respuesta —no añadir consejos no solicitados— sigue siendo el desafío no resuelto, y es precisamente lo que separa un prototipo de una herramienta desplegable.

Lo que cambia

Para la comunidad de investigación, el mensaje es metodológico: evaluar un LLM médico en opción múltiple es engañoso, y hay que preferir evaluaciones de fidelidad en respuesta libre, respaldadas por jueces a su vez validados contra humanos. El artículo traza el trabajo útil por delante: jueces automáticos fiables en exactitud factual (hoy inexistentes), una recuperación capaz de razonar a través de varios fragmentos, y conjuntos de prueba que incluyan preguntas sin respuesta en el corpus, para verificar que el sistema sabe rechazar.

Para los clínicos y las agencias de salud, la RAG anclada en un corpus actualizado es una vía creíble para alinear un asistente con las recomendaciones oficiales sin reentrenar el modelo —una ventaja real cuando las consignas cambian rápido, sobre todo en epidemia—. Pero nada es desplegable tal cual: mientras la fidelidad se estanque en torno a dos tercios y el control del alcance no se resuelva, tal asistente sigue siendo una ayuda supervisada, no una fuente autónoma.

Para los pacientes y el público general, la lección es una higiene de lectura. Un asistente que «cita las recomendaciones oficiales» no es por ello fiel a lo que estas dicen: en este estudio, cerca de una respuesta libre de cada tres añade elementos no sostenidos por la fuente mostrada. Una excelente puntuación en un cuestionario no dice nada sobre la seguridad de un consejo redactado por extenso —y es este último el que cuenta cuando se busca información de salud—.

Para ir más lejos

El preprint está disponible en arXiv (10.48550/arXiv.2607.06641), bajo licencia CC BY 4.0. Sobre los límites de los LLM en contextos clínicos sensibles, véase nuestro descifrado sobre la seguridad clínica de los LLM en la frontera de la decisión; sobre un LLM aplicado al diagnóstico a partir de notas clínicas, el de GenoSolver para las enfermedades raras; y sobre el efecto del formato de respuesta de un modelo, el de GPT-4 en radiología y la puesta en forma de sus explicaciones.

Transparencia editorial: versión francesa redactada y firmada por la redacción de Tatakoto a partir de la lectura del preprint. Traducciones al inglés, español y chino producidas con asistencia de IA y revisadas.