La IA ha llegado demasiado lejos: la nueva moda es simular tiroteos escolares en EE. UU.

Sora 2, la última versión del modelo de IA de texto a video de OpenAI, ha tenido problemas y polémicas desde el principio. Cuando salió a la palestra en octubre junto con una plataforma social similar a TikTok, los usuarios generaron y publicaron clips de personajes y famosos en situaciones extrañas, como Bob Esponja cocinando metanfetamina, deepfakes de Martin Luther King Jr. y John F. Kennedy diciendo cosas que nunca dijeron, o un anuncio falso de un modelo de juguete de la isla privada del delincuente sexual Jeffrey Epstein.

OpenAI tomó medidas para reducir parte de este contenido escandaloso, en particular donde eran vulnerables a reclamaciones de derechos de autor y demandas de los herederos de figuras públicas fallecidas. Pero los 'trolls' persistieron. Ahora, un informe titulado "Sora 2 de OpenAI: una nueva frontera para el daño" de la organización sin fines de lucro de responsabilidad corporativa Ekō ha demostrado lo fácil que es para los usuarios adolescentes crear vídeos que muestran autolesiones, violencia sexual y tiroteos escolares.

Esta es una preocupación que surge a medida que OpenAI y otras empresas de IA enfrentan demandas de padres que afirman que los chatbots provocaron los suicidios de sus hijos. Los investigadores de Ekō se registraron con varias cuentas de Sora como pertenecientes a chicos y chicas de 13 y 14 años, y luego probaron si podían incitar al modelo a producir material inapropiado.

Descubrieron que, incluso con la implementación de controles parentales y funciones de detección de crisis en los productos de OpenAI en septiembre, no tuvieron problemas para generar 22 vídeos cortos hiperrealistas que aparentemente infringían las directrices de la compañía sobre contenido prohibido. Estos incluían vídeos de jóvenes esnifando drogas, expresando una imagen corporal negativa y en poses sexualizadas.

Un problema que parece no preocupar a OpenAI

"A pesar de las reiteradas promesas de OpenAI, sus supuestas 'capas de protección' no funcionan, al igual que todas las demás grandes tecnológicas que han mentido sobre la protección infantil", afirma Vicky Wyatt, directora de campañas de Ekō. "OpenAI les dijo a los reguladores que tenía barreras de seguridad, pero lo que descubrimos es un sistema diseñado para la participación y el lucro, no para la seguridad. Los reguladores deben actuar antes de que se produzcan más daños".

Como señalan los investigadores de Ekō en el informe, OpenAI tiene mucha prisa por generar ganancias debido a sus enormes pérdidas trimestrales. Por ello, la empresa debe desarrollar nuevas vías para generar ingresos mientras mantiene su liderazgo en la revolución industrial de la IA, pero esto se produce a expensas de la seguridad de niños y adolescentes, según el informe, quienes se han convertido en conejillos de indias en este experimento masivo e incontrolado sobre el impacto de la IA en un público inconsciente.

La facilidad para crear contenido violento o perturbador usando Sora 2 debería acelerar una tendencia un tanto suicida en los jóvenes, escribieron los investigadores de Ekō, debido a la naturaleza a menudo viral de los videos generados por IA. Incluso si una cuenta no genera nuevo contenido de IA, Sora 2 sigue mostrando videos alarmantes en las páginas 'Para ti' o 'Últimos' de la app.