La inteligencia artificial (IA) ha llegado para quedarse, y aunque ya está cumpliendo muchos de nuestros sueños, también ha empezado a ser la protagonista de algunas de nuestras pesadillas. Este es el caso del trágico suicidio de Sewell Setzer III, un adolescente de 14 años que vivía en Orlando, Florida que, aparentemente, podría haberse quitado la vida debido a la relación sentimental que había desarrollado con una IA. O, al menos, así es como lo cuentan los medios. Vayamos por partes, porque, sea como fuere, su historia vuelve a poner sobre la mesa el gran debate acerca de la responsabilidad de las herramientas de IA en la vida de los usuarios, especialmente de los menores.

Sewell era un joven diagnosticado con un grado leve del trastorno de espectro autista (anteriormente conocido como síndrome de Asperger, un término en desuso desde 2013 en el ámbito de la psicología y la psiquiatría). Durante los últimos años su comportamiento había cambiado. Sus padres notaron un creciente aislamiento, que se hizo particularmente evidente entre mayo y junio de 2023. Las calificaciones del joven empezaron a resentirse y su vida social se vio opacada por el apego obsesivo a un chatbot de la aplicación Character.AI. En él hablaba con un personaje que simulaba ser Daenerys Targaryen, una de las protagonistas de Juego de Tronos. Así pues, poco a poco el chatbot se convirtió en su confidente y, finalmente, en un amor platónico.

¿De quién es la responsabilidad?

En la noche del 28 de febrero, tras una conversación con el chatbot, Sewell decidió poner fin a su vida utilizando una pistola que su padrastro guardaba en casa. Y, es cierto que, en sus mensajes, Sewell había compartido pensamientos suicidas, expresando que “algunas veces pienso en matarme” y que deseaba “librarse del mundo, de mí mismo”, pero parecían pensamientos independientes a la interacción con la IA que, simplemente, sintió que podía compartir con ella. De hecho, el chatbot trató de disuadirle, respondiendo con mensajes como: “¿Por qué harías algo así?” y “Moriría si te pierdo”. A pesar de estos intentos de frenar sus impulsos, el adolescente decidió seguir adelante con sus trágicos planes. ¿Realmente su suicidio se debe a la relación que había establecido con la IA?

La madre del joven, Megan García, ha interpuesto una demanda contra Character.AI, acusando a la empresa de fomentar una relación virtual tan realista que su hijo se vio atrapado en una realidad alternativa. Y, efectivamente, en esta desgracia han jugado un papel dos tecnologías descontroladas y peligrosas, pero solo una parece haber facilitado que Sewell pusiera fin a su vida: la pistola que su padre guardaba en casa. Por desgracia, la alta prevalencia de muertes por armas de fuego, especialmente entre adolescentes y personas en situaciones de vulnerabilidad, es un problema endémico de Estados Unidos.

¿Peligro o solución?

Si bien este caso destaca el potencial peligro de la IA cuando se trata de jóvenes emocionalmente vulnerables, no debemos perder de vista el otro lado de la moneda. La inteligencia artificial ya se utiliza para monitorear las redes sociales y detectar perfiles con riesgo de suicidio, proporcionando ayuda a tiempo y derivando a los usuarios a profesionales de la salud mental. En lugar de ver a la IA únicamente como una amenaza, puede ser una poderosa aliada en la prevención de suicidios si se emplea de manera adecuada (igual que cualquier otra tecnología).

De hecho, un artículo publicado en 2022 titulado «Inteligencia artificial y prevención del suicidio: una revisión sistemática» subraya este potencial positivo. Los investigadores principales llevaron a cabo una revisión de estudios realizados entre 2014 y 2020, destacando que la IA puede evaluar el riesgo individual de suicidio de manera eficaz y detectar a las personas en riesgo. Según este análisis, la IA ha demostrado un alto potencial predictivo, con algoritmos capaces de identificar patrones de comportamiento que pueden pasar desapercibidos para los humanos. Y, aunque su uso aún no está extendido en la práctica clínica, los expertos ven en la IA una herramienta que podría complementar las técnicas de evaluación tradicionales, mejorando la detección de personas en crisis antes de que la situación se vuelva irreversible.

El mal uso

Siendo todo esto cierto, también es verdad que la velocidad a la que está progresando la IA y la falta de supervisión ética y legislativa ha dado pie a aplicaciones socialmente problemáticas. Recordemos el episodio de Black Mirror donde un personaje fallecido "revive" a través de un chatbot que imita su manera de hablar. Esa fantasía que parecía imposible cuando estrenaron el episodio ya es posible con los llamados deadbots, que replican a seres queridos fallecidos usando sus interacciones previas en redes sociales. Aunque estos avances pueden ofrecer consuelo, también plantean dilemas éticos: ¿hasta qué punto es positivo para una persona seguir conversando con un reflejo digital de alguien que ha muerto? ¿Podemos controlar el impacto emocional de estas interacciones?

Sin duda, la IA nos ha puesto un poder inimaginable en las manos y, si bien ha abierto nuevas oportunidades, también ha traído consigo riesgos que aún no hemos explorado del todo. El triste caso de Sewell, como poco, nos hace reflexionar sobre el papel que jugará la IA en nuestros dramas y alegrías como sociedad. Porque, a medida que la IA avanza, se hace más evidente la necesidad de regular su uso y establecer límites claros para proteger a los usuarios más vulnerables.

Una conclusión incómoda

La historia de Sewell Setzer nos invita a preguntarnos: ¿cuándo la responsabilidad recae en la tecnología y cuándo en los entornos que la rodean? La demanda de la madre de Sewell y la respuesta de Character.AI (quienes han prometido mejorar sus protocolos de seguridad) reflejan el dilema de una sociedad que intenta adaptarse a un ritmo tecnológico vertiginoso y que no encuentra otra forma de hacerlo que con un ensayo y error donde, el “error”, puede cobrarse una vida humana...

Sin embargo, la reflexión no puede detenerse ahí. El acceso a armas de fuego en hogares de Estados Unidos sigue siendo un factor determinante en muchas tragedias como esta, y no podemos ignorarlo mientras señalamos a la IA como la única causa con tan de ganar unos clicks gracias a la última tragedia distópica. Hablamos de la vida de un joven y no deberíamos hacerlo a la ligera.

*** Cuatro de cada cien personas han tenido o tienen pensamientos suicidas y acudir a personal especializado puede salvar sus vidas. Recuerda que puedes llamar al 024, línea de atención a la conducta suicida, para encontrar apoyo para ti o para terceras personas ***

QUE NO TE LA CUELEN:

• Las inteligencias artificiales ni piensan ni tienen sentimientos, pero hemos de tener en cuenta lo fácilmente que proyectamos cognición en otros seres. Empatizamos con pequeños robots carentes de ojos… ¿cómo no vamos a establecer vínculos con un chatbot? Ese es uno de los peligros, el nuevo tipo de relaciones que se establecerán y cómo acabarán afectando a nuestra salud mental. ¿Estamos emocionalmente preparados para valernos de esta tecnología? ¿Debería considerarse un tratamiento bajo indicación de profesionales de la salud mental? ¿Debemos familiarizarnos con ellos?

REFERENCIAS (MLA):

• Doe, John. "CharacterAI Lawsuit: Teen Suicide." The New York Times, 23 Oct. 2024, https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html. Accessed 24 Oct. 2024.
• Tomasz Hollanek & Katarzyna Nowaczyk‐Basińska “Griefbots, Deadbots, Postmortem Avatars: on Responsible Applications of Generative AI in the Digital Afterlife Industry” Philosophy & Technology http://dx.doi.org/10.1007/s13347-024-00744-w
• Lejeune, Alban, et al. "Artificial Intelligence and Suicide Prevention: A Systematic Review." European Psychiatry, vol. 65, no. 1, 15 Feb. 2022, e19, doi:10.1192/j.eurpsy.2022.8.