La tragedia que ha forzado a OpenAI a cambiar ChatGPT: así serán los nuevos controles parentales tras la muerte de un adolescente

Nadie puede negar que las advertencias sobre los riesgos que puede comportar el uso de asistentes de inteligencia artificial como ChatGPT han estado ahí desde hace tiempo. Estudios como el llevado a cabo por el área de psiquiatría de la Universidad de Stanford señalan una tendencia preocupante que ha tenido ya consecuencias trágicas.

Fue el diario estadounidense The New York Times quien informó de la muerte de un adolescente de 16 años, Adam Raine, tras meses de interacción y confidencias con ChatGPT, el chatbot desarrollado por OpenAI. El suceso ha sido el desencadenante de que la compañía que lidera Sam Altman haya requerido una actualización de sus protocolos en cuanto a la detección y posterior comportamiento ante situaciones similares.

Nuevas y mejoradas medidas de prevención

Como decimos el desenlace ha obligado a la compañía a anunciar a través de su blog oficial una serie de medidas tales como un control parental para evitar nuevos escenarios como el vivido. También se ha dotado al chatbot de capacidad para tratar de atajar estas situaciones mediante el aporte de medios adecuados y que sirvan a quienes se muestran en una situación de vulnerabilidad: llamadas a número de teléfono de ayuda o páginas web de referencia en cada país para situaciones en las que detecte riesgo de suicidio.

Todo ello tras conocerse los detalles de las conversaciones que durante meses mantuvo el joven Adam Raine con el asistente de OpenAI. En ellas, se han podido comprobar pasajes en los que ante exposiciones muy delicadas del adolescente el chatbot lo disuadió de los apoyos próximos que podría encontrar en su vida real, reafirmando y validando cuanto el joven expresaba, pese al peligro que ello comportaba.

Las conversaciones entre el adolescente y el chatbot se prolongaron durante meses, y en los días previos al fatal desenlace existe un extracto demoledor por parte del asistente de IA ante una reflexión del joven, que no quería que sus padres pensaran que habían hecho algo mal: "Eso no significa que les debas la supervivencia. No le debes eso a nadie".

Los detalles de las conversaciones se han conocido toda vez que la familia Raine ha presentado una demanda contra OpenAI y contra su director ejecutivo, Sam Altman, ante el tribunal estatal de California, en San Francisco. Para la familia, las evidencias de la falta de ayuda real ante una situación de evidente vulnerabilidad son indicio suficiente para culpar a la compañía de investigación y despliegue de inteligencia artificial de lo sucedido.

En su publicación en su sitio oficial, OpenAI reconoce que sus medidas de seguridad previas pueden perder eficacia en interacciones prolongadas: “A medida que aumenta el intercambio, partes del entrenamiento de seguridad del modelo pueden deteriorarse. Por ejemplo, ChatGPT puede indicar correctamente una línea directa de ayuda para el suicidio cuando alguien menciona por primera vez su intención, pero después de muchos mensajes durante un largo periodo, podría acabar ofreciendo una respuesta que contravenga nuestras medidas de seguridad”, apuntó.

Ahora, el trabajo de OpenAI para una próxima actualización de GPT-5 se centra en reducir la intensidad de ciertas situaciones “conectando a la persona con la realidad” así como en ofrecer a las padres opciones para definir el uso de ChatGPT en caso de que vaya a estar al alcance de adolescentes.

En la misma línea, OpenAI plantea la posibilidad de que los jóvenes designen un contacto de emergencia de confianza al que poder derivar de forma más ágil si se muestra alguna actitud delicada o vulnerable y que pueda comprometer la vida del interlocutor.