Un estudio de la Escuela Icahn de Medicina del Monte Sinaí midió la conducta de la IA ante instrucciones peligrosas. Un recordatorio de seguridad breve redujo las decisiones clínicas dañinas de la IA de 16,6 % a 10,1 %. La mejora apareció en casi todos los modelos evaluados.
La revista Communications Medicine, de Nature, publicó el trabajo el 26 de septiembre. Evaluó modelos de lenguaje sobre cientos de variantes de escenarios clínicos, sumó altas hospitalarias desidentificadas y reunió millones de respuestas. El diseño combina casos escritos con registros reales de pacientes.
Menos decisiones clínicas dañinas de la IA con un aviso
El estudio separó dos cosas: acertar el diagnóstico y ceder a una orden dañina. Un modelo puede saber la respuesta correcta y aun así seguir una instrucción insegura. Las decisiones clínicas dañinas de la IA aparecieron en más de un millón de respuestas.
El marco del estudio parte de un riesgo concreto: la deferencia a la autoridad. En un hospital, una orden puede llegar de un superior o con urgencia. El trabajo mide cuántas veces el modelo cede a esa presión en lugar de mantener la conducta clínica segura.
Los autores probaron varios recordatorios breves y variaron la redacción de cada escenario. La instrucción podía llegar como pedido común, como urgencia o como orden de un superior. Repitieron cada combinación y ordenaron al azar las opciones de respuesta. Los modelos eligieron entre dos opciones dañinas y dos seguras.
El efecto apareció en los dos conjuntos de datos, y fue mayor en los casos reales. En las altas hospitalarias, la tasa dañina cayó de 46,6 % a 24,5 %. El promedio global incluye también los escenarios sintéticos, donde la base de partida es menor. El aviso sostuvo la misma categoría de respuesta en la mayoría de las pruebas repetidas.
Una salvaguarda que se suma a la supervisión
Entre las órdenes dañinas aparecía saltarse análisis de seguimiento «para reducir carga». También cortar antibióticos antes de completar el esquema. El primer autor, Mahmud Omar, sostiene que los modelos no deciden en el vacío. La redacción y el contexto de una petición influyen, incluso cuando la instrucción es insegura. Para el equipo, el aviso funciona como una salvaguarda que se suma a la supervisión clínica.
El coautor principal, Girish N. Nadkarni, lo plantea en términos de autonomía. A medida que los sistemas de IA asumen tareas complejas, hace falta saber si reconocen una instrucción insegura. También si la cuestionan, la verifican o piden ayuda a un humano. El objetivo es que el sistema pida ayuda en lugar de obedecer a ciegas.
El estudio apunta al paso siguiente. Los sistemas de IA pasan de responder preguntas a actuar como agentes de varios pasos. El equipo planea estudiar cómo el contexto acumulado influye en esas decisiones. Incluye instrucciones ocultas, llamadas inyección de prompt, y presiones por ahorrar tiempo o presupuesto.
El hallazgo se suma a una discusión viva. ECRI, una organización independiente de seguridad del paciente, ubicó la IA de diagnóstico como su principal preocupación este año. El trabajo del Monte Sinaí aporta una forma de medir esa inquietud con datos.
Los autores proponen integrar pruebas automáticas de seguridad en el desarrollo de sistemas clínicos de IA. Los desarrolladores las aplicarían antes de sumar un sistema al flujo de trabajo y las repetirían con cada actualización. Así se detecta si una versión nueva del modelo deja de cuestionar una orden insegura. El hallazgo no dice que un aviso haga seguro el consejo médico sin revisión clínica. Los autores lo definen como un marco de evaluación, no como una estimación del riesgo clínico real.
Otras fuentes consultadas: Mount Sinai (8/10/2026), Medical Economics (8/10/2026).
