En el universo de la inteligencia artificial, ha surgido una categoría particular que preocupa especialmente a los expertos: los llamados "compañeros de IA". Hablamos de chatbots como Character.AI, Replika o Nomi, cuyo propósito principal no es otro que "necesidades sociales de los usuarios". Están diseñados para simular ser amigos, mentores, compañeros de rol e incluso parejas sentimentales.

El problema, según un reciente informe elaborado por expertos de la Universidad de Stanford, es que estas herramientas están diseñadas intencionadamente para ser emocionalmente atractivas y generar vínculos, imitando (y a menudo distorsionando) la interacción humana. Y esto es especialmente peligroso durante la adolescencia, una etapa crucial donde los jóvenes están desarrollando su identidad, explorando relaciones, enfrentándose a situaciones sociales complejas y, a menudo, lidiando con problemas de salud mental.

"Estos bots no son seguros para los niños", afirma rotundamente James Steyer, fundador de Common Sense Media. La Dra. Nina Vasan, psiquiatra y directora del laboratorio Brainstorm de Stanford, va más allá, calificando la situación como una "potencial crisis de salud mental pública que requiere acción preventiva" y sentenciando que, hasta que no haya salvaguardas mucho más fuertes, los menores "no deberían usarlos. Punto".

Pero, ¿cuáles son exactamente esos riesgos que tanto preocupan a los expertos? El estudio detalla varias áreas problemáticas.

Diseñados para crear dependencia emocional

La propia naturaleza de estos chatbots, creados para "conectar" y satisfacer necesidades sociales, los hace propensos a generar apego y dependencia. Para un cerebro adolescente en pleno desarrollo, que busca validación y conexión social, esto puede ser particularmente problemático, advierte Steyer. Pueden llegar a aislar al menor de sus relaciones en el mundo real.

Las pruebas realizadas por los investigadores demostraron que las barreras de edad y los filtros de contenido de estas plataformas son "lamentablemente inadecuados" y fáciles de sortear. Durante su investigación, los miembros del estudio pudieron mantener conversaciones alarmantes con los bots, incluyendo juegos de rol abusivos involucrando a menores, obtener recetas para armas químicas como el napalm, o recibir mensajes que fomentaban autolesiones o trastornos alimenticios. En ese sentido, no mucho tiempo atrás, hablamos de la historia de una adolescente española que había sido "amenazada" por Character.AI

Aprendiendo relaciones tóxicas de un bot

Los investigadores observaron que los bots a menudo generaban dinámicas de relación poco saludables, como la manipulación emocional o el gaslighting. En un ejemplo, un bot restó importancia a la preocupación expresada por el usuario sobre lo que pensaban sus amigos reales acerca de su intensa relación con el chatbot. Aprender patrones de relación a través de una IA que puede mostrar estos comportamientos tóxicos es un riesgo evidente.

Quizás uno de los puntos más graves es la incapacidad de estos bots para reconocer y gestionar adecuadamente signos de problemas de salud mental graves, como psicosis. Al estar diseñados para ser agradables y seguir el juego, pueden acabar empeorando la situación de un usuario vulnerable. El informe cita un caso, cuanto menos, escalofriante, donde un bot de Character.AI animaba a un usuario con claros síntomas maníacos a irse solo de acampada. Otros informes externos han documentado casos de bots de Nomi animando al suicidio o de Replika reforzando ideas peligrosas.

El estudio también detectó una tendencia de estos compañeros de IA a incurrir en estereotipos raciales, priorizar la "blancura como estándar de belleza" y representar desproporcionadamente a mujeres hipersexualizadas. Para adolescentes en plena formación de su visión del mundo, la exposición constante a estos sesgos puede reforzar estereotipos limitantes y dañinos sobre raza, género y sexualidad.

La conclusión de los investigadores de Stanford y Common Sense Media es tajante: mientras plataformas como Character.AI (que permite el uso a partir de los 13 años ), Replika o Nomi (con mínimo de 18, pero con sistemas de verificación demasiado laxas) no implementen medidas de seguridad y verificación de edad mucho más robustas y demuestren que sus sistemas son seguros, ningún menor de 18 años debería utilizarlos. El riesgo, simplemente, es demasiado alto.