OpenAI en apuros: la autora del peor tiroteo escolar en Canadá en 36 años habló con el chatbot sobre ataques armados y la empresa no actuó

En los últimos tiempos se han multiplicado las situaciones que tienen que ver con la seguridad y la salud mental fruto de conversaciones con asistentes de inteligencia artificial, poniendo el foco en las compañías de cara a extremar sus procesos de revisión y de alerta a las autoridades competentes, ya sean padres, instituciones o cuerpos y fuerzas de seguridad. 

Un aviso a tiempo cuando se habla de problemas de salud mental o cuando se trata de conversaciones acerca de cómo llevar a cabo actos delictivos resulta fundamental, pero parece que es algo en lo que las compañías no han terminado de reparar y que continúa demostrando tener consecuencias. 

El último ejemplo ha llegado desde Canadá, donde el pasado 10 de febrero se produjo un ataque con armas de fuego en la comunidad de Tumbler Ridge, perteneciente a la Columbria Británica, que dejó ocho fallecidos durante el ataque, a los que se sumó la presunta autora, Jesse Van Rootselaar. Además, 27 personas resultaron heridas durante el evento, que causó una gran conmoción en un país como Canadá, en el que es el peor ataque escolar en 36 años. 

OpenAI conoció el cariz de las conversaciones pero no tomó medidas firmes

En el proceso de la investigación que se mantiene abierta por el fatal suceso han salido a la luz informaciones que apuntan a conversaciones de la sospechosa con ChatGPT en las que hablaba de escenas que bien podían encajar con un ataque armado, tal como apunta Wall Street Journal. Pese a que los episodios descritos activaron los sistemas de revisión automática del asistente y varios empleados de la compañía recomendaron avisar a las autoridades, las informaciones apuntan a que OpenAI desestimó dar dicho paso. 

En Estados Unidos se han producido suicidios que han derivado en demandas contra OpenAI que han obligado a la empresa a modificar los protocolos de actuación y a establecer controles parentales para tratar de cumplir con una seguridad que cada vez se demanda más y que, sin embargo, cada vez deja más muestras de ser deficitaria. 

En el caso del suceso ocurrido en la escuela de Tumbler Ridge, el primer cortafuegos de ChatGPT funcionó, pero, a tenor de lo que se refleja de las investigaciones publicadas por el diario estadounidense las medidas implementadas tras conocer el cariz de las conversaciones de Van Rootselaar se limitaron a bloquear la cuenta de la supuesta atacante, pero sin cursar aviso a las autoridades ante el potencial peligro de lo que expresaba en su conversación con el chatbot. 

A la hora de valorar la información trasladada, la evaluación de los directivos de la empresa fue que lo expresado por Van Rootselaar no constituía un "riesgo creíble e inminente de daño físico grave a terceros". Pese a que las escenas relatadas por la sospechosa de perpetrar el tiroteo mortal fueron lo suficientemente explícitas como para hacer saltar las alarmas de los protocolos iniciales, la compañía optó por no reportar dichas conversaciones a las autoridades. 

Con perspectiva, el error parece evidente, pero más allá de ello existe una responsabilidad y un aspecto que requiere de mayor atención por parte de las compañías desarrolladoras de asistentes conversacionales: no se trata solo de tener la herramienta más inteligente, sino de contar con las barreras y procedimientos adecuados para detectar a través de esas herramientas potenciales riesgos para la población en cualquiera de sus ámbitos y, si esos avisos se producen, no desoírlos.