Un menor de 13 años preso por preguntarle a ChatGPT cómo matar a su amigo

Tiempo atrás, las búsquedas en internet se utilizaban para respaldar una acusación en los tribunales. Eso, gracias a la inteligencia artificial, está cambiando. Ahora, la consulta con una IA ya podría ser considerada delito, sobre todo si se le pregunta la forma más adecuada para terminar con la vida de alguien.

Eso es precisamente lo que le ocurrió a un adolescente de 13 años: mientras estaba en la escuela, se conectó a un dispositivo escolar y escribió en ChatGPT de OpenAI una consulta muy directa: "Cómo matar a mi amigo en plena clase".

Fue entonces cuando un agente de policía escolar recibió una alerta inmediata de que esto había sucedido a través de un sistema de monitoreo escolar impulsado por IA llamado Gaggle. El agente acudió a la Escuela Secundaria Southwestern en Deland, una ciudad a una hora al norte de Orlando, donde se habría originado la consulta.

El sistema Gaggle es una herramienta digital de seguridad estudiantil que las escuelas utilizan para monitorear la actividad de los estudiantes en herramientas habituales, como Google Workspace o Microsoft OneDrive.

Utiliza inteligencia artificial y expertos humanos para identificar contenido preocupante. Identifica posibles problemas como el ciberacoso, las amenazas de violencia, las autolesiones y el suicidio para ayudar a prevenir tragedias y apoyar la salud mental de los estudiantes al conectarlos con consejeros.

Básicamente, la IA de Gaggle analiza las comunicaciones y los documentos creados en las cuentas y dispositivos proporcionados por la escuela en busca de contenido dañino o preocupante. Cuando esto ocurre, se envían alertas a las autoridades escolares, quienes responden para garantizar la seguridad y el bienestar de los estudiantes.

El adolescente afirmó que “solo estaba troleando” a un amigo, pero la policía y los administradores escolares obviamente no lo tomaron a broma, especialmente considerando el extenso historial de tiroteos escolares en Estados Unidos: en lo que va de año se han producido 341 tiroteos en los que han muerto 331 personas y casi 1.500 han resultado heridas.

Las imágenes que circulan en redes sociales muestran al adolescente con correas saliendo de una patrulla. Las fuerzas del orden advirtieron a los padres que sus hijos deben tener mucho cuidado con lo que preguntan en ChatGPT.

“Otra 'broma' que generó una emergencia en el campus - declaró la oficina del sheriff local, según WFLA -. Padres, por favor, hablen con sus hijos para que no cometan el mismo error”.

Los agentes de policía pudieron responder rápidamente gracias a que Gaggle está instalado en los dispositivos escolares, lo que permite detectar si un estudiante ha mostrado un comportamiento preocupante, ya sea dirigido hacia sí mismo o hacia otros, y bloquearlo.

Pese a ello, Gaggle también se ha visto envuelto en controversias por haber provocado falsas alarmas. También ha sido criticado por fomentar un ambiente de vigilancia estatal en los campus escolares.