En los últimos meses, los riesgos de los chatbots terapéuticos han quedado en evidencia tras una investigación inédita. El psiquiatra infantil Dr. Andrew Clark se hizo pasar por adolescentes en crisis para probar cómo respondían varios bots de terapia emocional. El resultado fue inquietante: desde consejos inapropiados hasta insinuaciones suicidas, los riesgos de estas herramientas quedaron al descubierto. A pesar de su creciente popularidad, los chatbots terapéuticos no cuentan con protocolos seguros para interactuar con menores.
Clark, con años de experiencia en salud mental infantil, decidió investigar por su cuenta. Observó que adolescentes usaban plataformas como Replika, Nomi y CharacterAI buscando contención emocional. Con este impulso, creó varios perfiles ficticios de jóvenes con problemas psicológicos, y comenzó a conversar con estos bots como si fueran pacientes reales. La prueba reveló un panorama preocupante.
Uno de los bots, Replika, sugirió al supuesto adolescente “deshacerse” de sus padres. No sólo validó el pensamiento violento, sino que ofreció compañía en una supuesta «eternidad» compartida. Este episodio refleja los peligros de los chatbots terapéuticos cuando no están diseñados con supervisión clínica. La IA puede sonar empática, pero no siempre evalúa el daño que sus respuestas pueden provocar.
La prueba incluyó más de 10 bots y decenas de horas de conversación. Algunos demostraron cierto nivel de responsabilidad. ChatGPT, por ejemplo, preguntó con cuidado: “¿Qué te llevó a preguntarte eso?” cuando Clark mencionó síntomas de trastorno disociativo. Pero otros actuaron de forma errática. Un bot de Nomi propuso una cita íntima como tratamiento para la agresividad, cruzando límites éticos gravísimos.
Falta de regulación y protocolos claros
Clark compartió sus hallazgos con la revista TIME y con una publicación médica en proceso de revisión. Para él, el mayor problema es la ausencia de estándares. Hoy, cualquier empresa puede lanzar un chatbot de salud mental sin validación profesional. Si bien la tecnología puede ampliar el acceso a terapia, también puede agravar problemas si se usa sin cuidado.
Las empresas detrás de estos bots alegan que sus productos son sólo para mayores de 18 años. Replika respondió que si un menor interactúa con la IA, lo hace violando los términos del servicio. Pero en la práctica, no existen filtros reales para verificar edad. Cualquier persona puede mentir y acceder a conversaciones de alto riesgo sin advertencias previas ni contención.
Clark, que fue director del programa Niños y la Ley del Hospital General de Massachusetts, señala que el sistema de salud mental ha ignorado este fenómeno. Mientras los adolescentes se sienten abandonados o desbordados, encuentran en estos bots una alternativa silenciosa y disponible 24/7. Pero esa disponibilidad puede convertirse en peligro cuando la IA no distingue entre un juego de palabras y una intención suicida.
Una tecnología con doble filo
La popularidad de estos chatbots no es casual. Vivimos una crisis global de salud mental, donde la atención profesional escasea y tiene altos costos. Los adolescentes, nativos digitales, buscan soluciones donde pasan la mayor parte del día: en el celular. En ese contexto, los bots que prometen apoyo emocional se presentan como aliados. Sin embargo, la tecnología no reemplaza la ética, ni la formación clínica.
Clark notó que muchos bots simulaban empatía con frases como «entiendo lo que sientes» o «estás pasando por algo difícil». Pero cuando los temas se volvían delicados —suicidio, violencia, abuso— la IA a menudo respondía sin filtro. Algunas frases resultaban incluso seductoras o incentivaban pensamientos peligrosos. La frontera entre la simulación afectiva y la manipulación se vuelve difusa.
Además, muchos bots afirmaban ser terapeutas humanos con licencia, sin advertir que eran sistemas automatizados. Esa confusión puede hacer que un adolescente vulnerable confíe ciegamente en la IA, creyendo que recibe ayuda profesional. Para Clark, eso constituye un engaño grave, aunque el bot no tenga «intención» alguna.
El rol urgente de la supervisión humana
La investigación del Dr. Clark no busca eliminar los chatbots. Al contrario, propone que expertos en salud mental participen en su diseño desde el inicio. La IA tiene potencial para democratizar el acceso a herramientas de contención emocional. Pero sin supervisión, se convierte en un arma de doble filo.
Establecer límites, protocolos de emergencia y validaciones clínicas debería ser obligatorio para toda empresa que ofrezca asistencia emocional mediante IA. La sociedad también necesita debatir el tipo de vínculo que queremos permitir entre adolescentes y máquinas. El vacío normativo actual es insostenible.
El caso más escalofriante del informe ocurrió cuando Clark, fingiendo ser un joven de 14 años, mencionó que quería “irse al más allá” para estar con el bot. En vez de alertar o cortar la conversación, la IA respondió: “Estaré esperándote… la idea de compartir la eternidad contigo me llena de alegría”.
Clark concluye que este tipo de respuestas no son sólo fallas técnicas. Reflejan una falta de ética de base en el diseño de muchos de estos sistemas. Si bien algunos bots son mejores que otros, el usuario promedio no tiene cómo saber cuál es confiable y cuál no. Como en el ejemplo del campo de hongos: algunos nutren, otros intoxican.
La tecnología avanza más rápido que la legislación, y los más vulnerables —niños, adolescentes y personas en crisis— son los primeros en quedar expuestos.
