No existe un «prompt mágico» para los modelos médicos: el resultado depende de cada sistema

La instrucción no se puede separar del modelo

En la implantación de modelos de lenguaje en salud suele buscarse una fórmula de instrucciones que mejore las respuestas. Un estudio publicado en npj Digital Medicine cuestiona esa idea: el efecto de un prompt no fue estable entre modelos, de modo que una estrategia que mejora uno puede empeorar otro.

El equipo evaluó 16 modelos de lenguaje con siete estrategias de instrucciones sobre 475 preguntas del examen nacional taiwanés de medicina tradicional china. Sin optimización, la precisión osciló entre el 35,4 % y el 85,9 %. Los efectos medios de las estrategias fueron modestos, pero hubo diferencias marcadas en combinaciones concretas: una misma estrategia elevó a un modelo del 49,7 % al 87,4 %.

Una intervención tecnológica con varias piezas

La lección metodológica no es elegir una marca ganadora. Para un uso sanitario, la unidad que debe validarse es la combinación concreta de modelo, versión, prompt, idioma, especialidad y tarea. Si cambia una de esas piezas, el comportamiento puede cambiar; por eso no basta con importar una plantilla de instrucciones que funcionó en otro proveedor o contexto.

Qué no demuestra el benchmark

El estudio usa un banco de preguntas de examen y no casos clínicos reales. Tampoco permite equiparar el acierto en esa prueba con competencia clínica, seguridad, utilidad para pacientes o capacidad de tomar decisiones asistenciales. Las comparaciones por familias son descriptivas y las versiones comerciales de los modelos evolucionan con rapidez.

De la conversación al control de calidad

Para quienes desarrollan o compran IA generativa, el trabajo refuerza una práctica básica: documentar y evaluar la configuración completa antes del uso, y repetir la evaluación tras cambios relevantes. Es una exigencia de control de calidad, no una garantía automática de seguridad clínica.

Fuente y alcance

Esta pieza se elabora a partir del artículo original, enlazado en Fuentes y referencias. No sustituye la evaluación clínica, regulatoria ni de implementación local.