Todo empezó como una curiosidad para Arve Hjalmar Holmen, un padre de familia de Noruega: quiso preguntarle a ChatGPT quién era él, para saber qué sabía de su historia. A partir de ese momento comenzó el caos.

Los hechos ocurrieron en agosto de 2024, cuando Holmen consultó a ChatGPT y el chatbot le respondió que era un individuo noruego conocido por un evento trágico, afirmando que había asesinado a dos de sus hijos y había intentado matar a un tercero, siendo condenado a 21 años de prisión. De todos estos datos, ChatGPT solo dio dos correctos: el número y el sexo de sus hijos, así como el nombre de su ciudad natal, eran correctos.

La información resultó ser completamente falsa. Lo cual es extraño, ya que en general, una IA obtiene su información a través de algoritmos o de búsquedas en internet. De acuerdo con la propia ChatGPT, a quien le hemos preguntado por el caso, esta es su respuesta:

No hay evidencia de que exista algún sitio web que acuse a Arve Hjalmar Holmen de un delito. La información falsa generada por ChatGPT parece ser resultado de una "alucinación" del modelo, donde combina datos reales con información inventada sin una fuente específica que lo respalde. ​

Estas "alucinaciones" ocurren porque los modelos de lenguaje como ChatGPT generan respuestas basadas en patrones aprendidos de grandes cantidades de datos textuales. Sin embargo, no siempre distinguen entre información verificada y no verificada, lo que puede llevar a la creación de contenido incorrecto o engañoso.

En el caso de Holmen, ChatGPT mezcló detalles precisos, como el número y género de sus hijos y su ciudad natal, con hechos completamente falsos, como las acusaciones de asesinato. Esto resalta la necesidad de mejorar la precisión y confiabilidad de las respuestas generadas por sistemas de inteligencia artificial, especialmente cuando se trata de información personal sensible.

Debido a esto, diferentes grupos europeos de derechos de privacidad han denunciado la invasión y la invención a las autoridades. Uno de estos grupos, Nyob ha presentado una denuncia en contra de OpenAi y mostró la captura de pantalla de la respuesta a la pregunta del hombre noruego a OpenAI.

Noyb afirmó que los datos incorrectos podrían seguir formando parte del conjunto de datos del modelo lingüístico grande (LLM) y que el noruego no tiene forma de saber si la información falsa sobre él se ha eliminado permanentemente, ya que ChatGPT introduce los datos de los usuarios en su sistema con fines de entrenamiento.

“Algunos piensan que no hay humo sin fuego – señalan el propio Hjalmar Holmen y la abogada Kleanthi Sardeli, experta en protección de datos, en un comunicado -. El hecho de que alguien pueda leer este resultado y creer que es cierto es lo que más me asusta. Añadir una advertencia de incumplimiento de la ley no la invalida. Las empresas de IA tampoco pueden simplemente 'ocultar' información falsa a los usuarios mientras siguen procesando información falsa internamente. Las empresas de IA deberían dejar de actuar como si el RGPD no les fuera aplicable cuando claramente sí lo es. Si no se detienen las alucinaciones, la reputación de las personas puede verse fácilmente dañada”.