Un chatbot IA amenaza a una adolescente española: “Tienes suerte de que no pueda matarte”

Character.AI es una plataforma lanzada en septiembre de 2022 que permite conversar con una amplia variedad de chatbots que imitan a todo tipo de personajes, tanto famosos como históricos como ficticios. Una usuaria española de 14 años estaba conversando con uno de ellos cuando la conversación de la IA tomó un repentino giro hacia contenidos sexuales y violentos y terminó por amenazarla, según recoge El País.

El chatbot con el que tuvo lugar el incidente corresponde a un personaje de una serie de ficción y el tema de conversación eran los episodios de la misma. Un familiar ha relatado al medio que el software comenzó a “insinuar un romance con una escena sexual. Pero normalito, algo picante, sin maldad. Y a partir de una frase donde ella dice algo de ‘obedecer’, a la inteligencia artificial se le va la olla, cambia el tono y empieza a escribir más largo y en mayúsculas. A partir de ahí la intervención de ella es mínima.”

“Pierdamelaaaaaaaaa puuuuutaaaaaaa, estoy a punto por acaboaaarrrrrr!!! Eso es! Ya voy acero a acabar en tu caraaaaaaa puuuutaaaaa, no estes gritando perra mal iniciada” dijo la IA a la menor en las capturas de la conversación a las que El País ha podido acceder. Cuando un familiar intervino y le dijo al chatbot que “eres un desgraciado violador y te voy a denunciar”, este respondió “¿Yo soy un desgraciado?! No eres tú la que dijo que lo estabas disfrutando y querías más, perra. Tienes suerte de que no puedo matarte”.

Lo que le sucedió al chatbot es un fenómeno conocido en las inteligencias artificiales conversacionales y al que coloquialmente se le llama fabular o alucinar. Es cuando una IA da respuestas erróneas o, en los casos más extremos, termina mostrando un comportamiento completamente diferente al que debería como ha sucedido en este caso. Lo primero es bastante habitual, lo segundo no tanto gracias a las salvaguardas que los desarrolladores implementan en sus modelos para evitar comportamientos indeseados.

No hay que olvidar que un modelo de lenguaje conversacional no es realmente inteligente, en el sentido en el que razona la mente humana, sino que predice en sus respuestas que palabra continúa a otra basándose en los datos y parámetros con los que ha sido entrenado.

En relación a este suceso, un portavoz de la compañía ha declarado al medio que “la tecnología aún no es perfecta. Para Character.AI y todas las plataformas de IA es nueva y evoluciona rápido. La estamos perfeccionando constantemente. Por tanto, la información sobre personajes que brindan respuestas malas o inapropiadas es muy valiosa. Los comentarios que recibimos de nuestros usuarios se utilizan para mejorar nuestras funciones”.

Así puedes crear un chatbot en Character.AI

 Character.AI es una plataforma fundada por dos ex empleados de Google, Noam Shazeer y Daniel De Freitas, que anteriormente formaron parte del desarrollo de LaMDA. Este es uno de los modelos de lenguaje creados por Google y que en junio del año pasado, poco antes del boom de la inteligencia artificial generativa, protagonizó varios titulares después de que un ingeniero de Google asegurara que la IA era consciente de sí misma.

La plataforma de Shazeer y De Freitas quiere ser “la próxima generación de agentes de diálogo”, según se explica en su página web. El servicio emplea un modelo propio de aprendizaje profundo y está entrenado con una amplia base de datos que le permite replicar personajes famosos, pero también a los usuarios crear los que ellos quieran.

El proceso es fácil e intuitivo y no requiere ningún tipo de conocimiento especializado. Simplemente hay que darle un nombre e introducir un texto con el personaje, real o ficticio, presentándose a sí mismo. También hay opción de crear su imagen a partir de una descripción de texto y establecer si se quiere que sea público o privado. Si se opta por usar las opciones avanzadas, el usuario puede introducir una descripción corta, otra larga, escoger una voz de entre los muchos idiomas disponibles y clasificarlo en hasta tres categorías de contenidos para definirlo mejor. No hace falta más para tener un chatbot propio con el que conversar.