Una frase que no significa nada está apareciendo en algunos estudios científicos: la culpa es de la IA generativa

Que la Inteligencia Artificial Generativa comete errores o se "inventa" cosas no es ninguna novedad. Lo preocupante es cuando esos errores, por absurdos que sean, empiezan a colarse en la literatura científica y se quedan ahí. Es lo que ha pasado con un término que suena muy técnico, pero que en realidad, no significa absolutamente nada: "microscopía electrónica vegetativa".

Este término fantasma ha aparecido ya en más de una veintena de papers publicados, causando revuelo, retractaciones y dejando en evidencia un nuevo tipo de problema en la era de la IA: la creación de "fósiles digitales", errores que se incrustan en las bases de conocimiento y son amplificados por los propios modelos de IA.

Un escaneo fallido: el origen del caos

¿Pero de dónde salió esta frase sin pies ni cabeza? La historia es una curiosa mezcla de fallos tecnológicos y humanos. Todo apunta a que nació de un error al digitalizar unos artículos científicos de los años 50, donde el sistema juntó palabras de columnas distintas ("vegetative" + "electron"). Un simple fallo de escaneo.

Décadas después, la frase resurgió en algunos estudios iraníes, probablemente por un error de traducción (en farsi, las palabras para "vegetativo" y "escaneo" son muy parecidas). Hasta aquí, errores aislados. El problema se magnificó cuando estos textos erróneos pasaron a formar parte de los gigantescos datasets (como CommonCrawl, basado en páginas web) con los que se entrenan las IA como GPT-3 y modelos posteriores.

Los investigadores comprobaron que, efectivamente, estas IA habían "aprendido" el término incorrecto y lo reproducían, mientras que modelos más antiguos no lo hacían. La IA, sin quererlo, había convertido un error puntual en parte de su "conocimiento".

El problema de los "fósiles digitales" y la integridad científica

Este caso destapa el problema de los "fósiles digitales": errores que se quedan petrificados en los datos de entrenamiento y que son casi imposibles de eliminar, tanto por la enorme escala de esos datos como por la falta de transparencia de las compañías de IA sobre qué usan exactamente para entrenar sus modelos.

Más allá de la anécdota, esto supone un riesgo para la integridad científica. Si las herramientas de IA que ayudan a investigar y escribir pueden introducir o perpetuar errores sin sentido, ¿cómo podemos fiarnos? Ya se están viendo otros problemas, como frases extrañas para evitar los sistemas de detección o incluso textos donde la IA "confiesa" su naturaleza (la ya mítica frase: "Soy un modelo de lenguaje...").

Las editoriales científicas y los procesos de revisión por pares tienen un nuevo reto: detectar no solo los errores humanos, sino también los generados o amplificados por la IA. Y las empresas tecnológicas tienen la responsabilidad de ser más transparentes. Mientras tanto, parece que tendremos que aprender a convivir con la posibilidad de encontrar estos "fósiles digitales" escondidos en la creciente cantidad de información generada con ayuda de la inteligencia artificial.