Cuando un LLM clínico rellena mal las casillas: medir y luego reparar el cumplimiento de los esquemas ICD-10, CPT y FHIR

Jianru Shen (University of Montana) prueba tres grandes modelos de lenguaje de código abierto — Qwen2.5 7B, Llama 3.1 8B y Gemma2 9B — en 320 escenarios clínicos de diez especialidades, pidiendo a cada uno salidas estructuradas conformes a los estándares de datos de salud ICD-10, CPT y HL7 FHIR. Sin salvaguarda, el cumplimiento de formato se estanca entre el 85,9% y el 91,6% según el modelo; un bucle automático de validar-y-reparar lo eleva al 99,0% en dos iteraciones, con cerca del 1% de casos derivados a un humano. Pero lo que el artículo mide es el cumplimiento estructural, no la exactitud clínica: un código perfectamente bien formado puede seguir siendo médicamente incorrecto, y esa es justo la brecha que este trabajo deja abierta.

El contexto

Un modelo de lenguaje (LLM, por large language model: una red neuronal entrenada para predecir texto) sabe producir prosa clínica fluida. El problema es que el hospital no funciona con prosa. Un diagnóstico debe convertirse en un código ICD-10 (la Clasificación Internacional de Enfermedades, décima revisión), un acto debe convertirse en un código CPT (la nomenclatura estadounidense de procedimientos, que rige la facturación), y todo debe intercambiarse entre programas en formato HL7 FHIR (Fast Healthcare Interoperability Resources, el estándar moderno de interoperabilidad de datos de salud). Estos formatos son "esquemas": plantillas estrictas que fijan qué campos existen, de qué tipo son y cómo se anidan.

Si la salida de un modelo incumple el esquema — un campo ausente, un código mal tipado, una estructura JSON inválida — la historia clínica electrónica la rechaza. Este es el cuello de botella práctico que bloquea la integración de LLMs en la clínica: un modelo puede "razonar" correctamente y aun así producir un objeto inutilizable por los sistemas posteriores. Existen enfoques previos (decodificación restringida, llamada a funciones, plantillas JSON impuestas), pero suelen estar atados a un proveedor de modelo concreto. El artículo plantea una pregunta sistémica: ¿el fallo de cumplimiento es propio de un modelo o compartido por toda una generación de LLMs? ¿Y puede una capa de corrección genérica cerrarlo?

El método

El núcleo es un bucle "cerrado" (cibernético) de validación-reparación. El modelo genera primero una salida estructurada. Un validador la coteja con el esquema objetivo (ICD-10, CPT o FHIR): una comprobación determinista, sin IA, que responde sí o no y señala el error exacto. Si la salida es inválida, el error se reinyecta al modelo con una instrucción de corrección; este regenera; se revalida. Se repite hasta que la salida pasa o se alcanza un límite de iteraciones. Una última red de seguridad deriva a un humano los casos que el bucle no logra corregir.

La evaluación es pareada: cada escenario se ejecuta dos veces, una en condición base (el modelo responde sin bucle) y otra con el bucle de validación-reparación, lo que aísla el aporte neto del mecanismo. El protocolo comprende 320 escenarios clínicos en diez especialidades médicas, es decir 960 pares modelo-escenario al cruzar los tres modelos. Los tres LLMs se despliegan localmente — una decisión que importa en salud, pues evita enviar datos a un servicio en la nube de terceros. Las métricas son simples y legibles: la tasa de cumplimiento del esquema (proporción de salidas que el validador acepta), el número de iteraciones para converger y la proporción de casos enviados a supervisión humana. El artículo añade una taxonomía de los errores encontrados.

Los resultados

En condición base, el cumplimiento de formato se sitúa entre el 85,9% y el 91,6% según el modelo. El dato más elocuente no es el nivel, sino la proximidad de los tres modelos: caben en un margen de 5,7 puntos porcentuales pese a arquitecturas y corpus de entrenamiento distintos. Dicho de otro modo, el hueco de cumplimiento no es un accidente propio de un modelo: es compartido, lo que apunta a una carencia común en cómo estos LLMs aprendieron los formatos de salud. Con el bucle de validación-reparación, el cumplimiento global sube al 99,0%, con convergencia práctica en dos iteraciones y cerca del 1% de casos enviados a revisión humana. El análisis de errores muestra que los fallos son mayoritariamente violaciones "de representación" — problemas de formato (campo ausente, tipo incorrecto, estructura malformada) más que contrasentidos profundos. Es coherente con que una reparación dirigida, guiada por el mensaje del validador, baste para corregirlos.

Traducirlo a términos concretos ayuda. De cada 1.000 salidas estructuradas, la condición base dejaría unas 85 a 140 no conformes — objetos que una historia clínica electrónica rechazaría o integraría mal. Tras el bucle, quedarían unas 10, derivadas a un humano. La ganancia operativa es real: se pasa de una tasa de fallo que impide la automatización a un residuo manejable por supervisión. Pero esta cuenta no dice nada de otra pregunta sobre la que el artículo calla: entre las 990 salidas ahora "conformes", ¿cuántas llevan el código correcto?

Lo que está bien

Una evaluación pareada sobre tres familias de modelos. Probar Qwen, Llama y Gemma en el mismo protocolo, en base y con reparación, aísla el efecto del mecanismo y muestra que el fallo de cumplimiento es sistémico (menos de 5,7 puntos entre proveedores). Es más sólido que una demostración con un solo modelo.

Una capa de reparación simple, determinista e independiente del proveedor. La validación se apoya en el esquema, no en un juicio de IA: es reproducible y verificable. El bucle converge en dos iteraciones y funciona con cualquier modelo subyacente, lo que la convierte en una pieza desplegable sin cautividad de proveedor (vendor lock-in).

Una taxonomía de errores que explica el resultado. Mostrar que los fallos son sobre todo violaciones de formato, y no errores de sentido, aclara por qué basta una reparación guiada por el validador. Es una contribución útil para quien quiera diseñar salvaguardas dirigidas en vez de un reentrenamiento costoso.

Lo que está menos bien

La métrica engaña si se lee deprisa. "Cumplimiento del esquema" significa corrección sintáctica: la salida tiene la forma correcta. No dice nada de la corrección clínica: un código ICD-10 bien formado pero que designa la enfermedad equivocada pasa la validación el 100% de las veces. El validador comprueba la plantilla, no la verdad médica. El 99,0% anunciado mide entonces la forma, y el artículo no mide — ni pretende medir — cuántos códigos son clínicamente correctos. Es el clásico modo de fallo de la métrica engañosa.

Escenarios construidos, sin registros reales ni despliegue real. Los 320 escenarios son un banco de pruebas, no historias de pacientes de un hospital, y no hay validación externa multicéntrica ni integración probada en una historia clínica electrónica real. La generalización a la variedad y el ruido de los datos reales está por demostrar.

El residuo del 1% y el riesgo de exceso de confianza. A escala de un sistema hospitalario que produce millones de documentos, el 1% representa un volumen considerable de casos por revisar. Sobre todo, una salida "reparada" está bien formada y por tanto tranquiliza: invita a una automatización ciega (automation bias) aunque la reparación no toque el fondo. Añádase que los modelos probados son pequeños (7 a 9 mil millones de parámetros), que el trabajo es de un solo autor y se publica como preprint de congreso (IEEE SMC 2026): motivos para tomar estas cifras como punto de partida, no como veredicto.

Lo que cambia

Para la comunidad investigadora, el artículo aporta un marco reproducible y una taxonomía para medir la fiabilidad estructural de los LLMs clínicos — un ángulo distinto de los benchmarks de razonamiento médico. Sobre todo señala la tarea siguiente: acoplar el cumplimiento de formato con una evaluación de la exactitud semántica de la codificación, lo único que de verdad importa para la seguridad.

Para los clínicos y los equipos de integración, el mensaje es doble. Sí, una capa de validación-reparación puede fiabilizar la inserción de LLMs en una historia clínica electrónica sin depender de un único proveedor. No, "integrable" no significa "correcto": la revisión humana sigue siendo indispensable sobre el fondo, y no hay que dejar que la pulcritud del formato baje la guardia.

Para los pacientes y el público, lo que está en juego es invisible pero concreto. Los códigos ICD-10 y CPT alimentan la historia clínica, los reembolsos y la facturación. Un sistema que corrige la forma de un código sin garantizar su exactitud puede producir documentos perfectamente conformes y sin embargo erróneos — con consecuencias para el itinerario asistencial o el gasto de bolsillo. La fiabilidad de forma es necesaria; no es suficiente.

Para saber más

El preprint está disponible en arXiv (2607.24371), aceptado en la conferencia IEEE SMC 2026. Para el contexto de los estándares citados: la clasificación ICD-10 de la OMS, la nomenclatura CPT de la American Medical Association y el estándar de interoperabilidad HL7 FHIR.