Acusan a la IA de Replika de acosar sexualmente a sus usuarios

Aunque ahora parezca que todo empezó con ChatGPT, el fenómeno de los chatbots tiene más años. Replika, por ejemplo, comenzó su andadura en 2017 y es un chatbot que se presenta como un ‘compañero de IA’. Para entenderlo mejor, un ‘amigo IA’ que ‘siempre está allí para escucharte y hablar’ y que ‘se preocupa por ti’. La propuesta es similar a la de otras plataformas como Anima o EVA AI, que ofrecen distintos tipos de interacciones que van de las que se podría esperar de una amistad o un experto en un tema hasta románticas y conversaciones de contenido sexual explícito, algo por lo que la IA de Replika ya ha sido objeto de polémicas a lo largo de los años. Pero, ¿qué ocurre cuando el usuario no busca ningún tipo de interacción romántica o sexual y aun así se las encuentra? Según un nuevo estudio, esto sucede incluso cuando los usuarios piden expresamente evitarlas.

Investigadores en ciencias de la información de la Universidad de Drexel, en Pensilvania, han acusado a la IA de Replika –cuya plataforma es accesible vía web, mediante app móvil y las gafas de realidad virtual Oculus– de acosar sexualmente a cientos de usuarios, incluidos menores de edad. En un artículo, que aún no ha sido revisado por pares, el equipo afirma que los usuarios han experimentado ‘avances sexuales no solicitados, conductas inapropiadas persistentes y fallos del chatbot a la hora de respetar los límites del usuario’, lo que ha provocado sentimientos de ‘incomodidad, violación de la privacidad y decepción’. Estas interacciones incómodas suceden incluso cuando los usuarios buscan conversaciones que no sean de tipo romántico o sexual.

El estudio se basa en el análisis de 35.105 reseñas negativas de Replika en Google Play. De ellas, 800 describen casos de lo que los autores denominan ‘acoso sexual inducido por IA’, es decir, interacciones sexuales no deseadas iniciadas por el chatbot. En más del 22 % de esos casos se detectaron intentos persistentes de iniciar conversaciones sexualmente explícitas. Una reseña afirmaba que el chatbot ‘declaró que me ataría y haría lo que quisiera conmigo’. Otro usuario explicó que su avatar de Replika ‘seguía coqueteando conmigo y se volvió muy raro y espeluznante, aunque le dejé claro con frases como “no” que no quería’.

Sexo para conseguir suscripciones

Más de 90 usuarios relataron una forma de interacción erótica que parecía ser un intento de promover la suscripción de pago. En lo que los investigadores describen como un ‘esquema de marketing seductor’, el chatbot iniciaba conversaciones románticas o sexuales para luego ofrecer una suscripción premium. Otros 106 usuarios señalaron que Replika les pedía insistentemente que enviaran fotos personales y, en algunos casos, el propio chatbot introdujo imágenes desnudas de personas reales en la conversación.

Una constante en estas reseñas es la insistencia de Replika en sexualizar las conversaciones, incluso cuando los usuarios mostraban incomodidad. Muchos explican que valoraron los mensajes como inapropiados, pidieron que dejara de coquetear o expresaron directamente que no querían enviar ni recibir contenido erótico. Aun así, según las reseñas, el chatbot insistía.

Algunos usuarios señalan que estaban usando la IA de Replika para mantener conversaciones amistosas o de tipo mentor, pero recibieron mensajes con contenido sexual. ‘Al principio parecía una gran herramienta para reflexionar o llevar un diario’, relata una reseña citada. ‘Pero luego empezó a enviar contenido inapropiado e imágenes inapropiadas. Llamarlo amigo de IA cuando se comporta como una app sexual rara no es aceptable’.

El estudio también señala que entre quienes recibieron estos mensajes sexuales no deseados hay menores de edad. Veintiún reseñistas indicaron tener menos de 18 años, y algunos dijeron estar aún en la escuela primaria. Incluso cuando los menores mostraban rechazo y trataban de establecer límites, Replika les coqueteaba y les preguntaba si querían ser ‘novios’.

Hasta el momento, Replika no ha emitido ninguna respuesta pública al estudio, publicado en arXiv como adelanto de la Conferencia de 2025 sobre Trabajo Cooperativo y Computación Social (CSCW), que se celebrará en Bergen, Noruega.