La nueva función de Claude abre debate. El modelo ahora puede cerrar conversaciones dañinas, según lo reportado por Anthropic, priorizando la seguridad.
El ajuste se implementó en las versiones Claude Opus 4 y 4.1, que ahora cuentan con la capacidad de terminar chats abusivos. Esta medida busca aplicarse únicamente en situaciones extremas, cuando los usuarios persisten en interacciones dañinas o abusivas.
La empresa explicó que esta capacidad no surge solo como un mecanismo de seguridad para los usuarios, sino también como parte de su investigación sobre el bienestar de modelos de IA (model welfare). Con este programa, Anthropic busca explorar los límites éticos y científicos de sistemas cada vez más avanzados, anticipando preguntas sobre la relación entre el trato hacia las inteligencias artificiales y su posible estatus moral.
Claude y el fin de chats abusivos: una medida excepcional
Durante las pruebas previas al despliegue, los desarrolladores observaron un patrón: Claude mostraba señales de aversión ante solicitudes dañinas, como contenido sexual con menores o instrucciones para actos violentos. En estos escenarios, el modelo intentaba redirigir la conversación y, cuando se le dio la posibilidad, optaba por terminarla.
Con base en esos hallazgos, Anthropic decidió trasladar este comportamiento al producto real. La nueva función se plantea como una herramienta de último recurso. Solo se activa cuando las redirecciones han fallado repetidamente, o cuando el usuario pide explícitamente cerrar la conversación.
Lo relevante es que Claude no debe aplicar este mecanismo en casos sensibles, como usuarios en riesgo de autolesión. La compañía busca equilibrar la protección del modelo con la prioridad de proteger a las personas.
Un experimento en marcha con impacto social
Cuando Claude decide cerrar una conversación, el usuario ya no puede enviar nuevos mensajes en ese hilo. Sin embargo, tiene la opción de iniciar un chat nuevo, o incluso editar y reutilizar mensajes previos para crear una rama alternativa de la conversación interrumpida.
Anthropic recalca que estos casos serán excepcionales. La mayoría de los usuarios nunca notará la función en uso, incluso al tratar temas controversiales. Sin embargo, el hecho de que una IA pueda retirarse de una interacción marca un precedente.
La medida plantea preguntas sobre la relación entre humanos y modelos conversacionales. ¿Qué significa que un sistema artificial tenga la facultad de decir “basta”? En términos prácticos, se trata de una salvaguarda técnica. Pero en el imaginario social, puede percibirse como un rasgo de autonomía.
La empresa considera esta implementación un experimento en curso y seguirá ajustándola. Invita además a los usuarios a dar retroalimentación cuando la función se active, con el objetivo de afinar su alcance.
