Los modelos de lenguaje pueden evaluar IA clínica, pero no sustituyen el juicio experto

EN BREVE

Cinco médicos y siete modelos de lenguaje evaluaron 118 consultas clínicas elaboradas por profesionales. Los autores proponen usar los LLM como una capa escalable de evaluación, siempre con rúbricas específicas y supervisión clínica.

Qué se puso a prueba

El trabajo evaluó si los grandes modelos de lenguaje pueden actuar como “jueces” de las respuestas generadas por una herramienta de apoyo a la decisión clínica con recuperación de información. El sistema, denominado PANDA, se utilizaba en un hospital pediátrico terciario.

Las 118 consultas clínicas, redactadas y fundamentadas en protocolos por profesionales, fueron respondidas por la herramienta. Después, cinco médicos y siete modelos de lenguaje calificaron cada respuesta con siete criterios: fidelidad, seguridad, utilidad práctica, razonamiento, concisión, completitud y puntuación global.

La comparación reunió 4.130 valoraciones médicas, 17.346 valoraciones ordinales de modelos y 8.496 evaluaciones binarias, para un total de 29.972 calificaciones.

Dónde coinciden y dónde no

La fidelidad al contexto recuperado fue el criterio con mayor alineación entre modelos y el panel médico, con valores frecuentemente superiores a 0,8 en el coeficiente de concordancia utilizado por los autores. La seguridad, la completitud y la puntuación global se situaron también en rangos relativamente altos, aunque con variabilidad según el modelo.

La coincidencia fue más desigual en dimensiones interpretativas. El razonamiento mostró una amplitud importante entre modelos y la concisión presentó una falta de alineación sistemática: las valoraciones de médicos y modelos no siempre reflejaban el mismo estándar sobre qué constituye una respuesta adecuada.

Ni repetir ni sumar modelos resuelve todo

Repetir la evaluación tres veces y agregar los resultados no mejoró de forma sistemática la concordancia con los clínicos. En el 90% de las comparaciones, las variaciones fueron pequeñas; en algunos casos concretos, la mejora o el empeoramiento dependían del modelo y del criterio valorado.

Los paneles formados por varios modelos tampoco superaron al mejor modelo individual en cada rúbrica. Es un resultado relevante para los equipos que buscan escalar la evaluación: añadir modelos puede ofrecer una segunda mirada, pero no garantiza por sí mismo una mayor concordancia clínica.

Qué implica para la IA clínica

Los autores no plantean que un modelo de lenguaje reemplace la revisión humana. Su conclusión es más acotada: puede ser una capa útil y escalable de evaluación cuando se aplica sobre aspectos bien definidos, con rúbricas diseñadas para la tarea y con validación frente a expertos clínicos.

La evaluación binaria de aprobado o no aprobado hizo visibles desajustes que podían quedar diluidos en las escalas ordinales. Para desplegar IA generativa en entornos clínicos, el estudio recomienda comprobar cada criterio por separado, monitorizar el sistema y mantener la gobernanza profesional.

Fuente primaria: Gershon R. et al. “Large language models as judges for clinical generative AI evaluation”. npj Digital Medicine, Article in Press. DOI: 10.1038/s41746-026-03248-3.

Nota editorial: Este estudio evalúa métodos de control de calidad de IA clínica; no valida por sí solo una herramienta concreta ni sustituye la evaluación profesional.