¿Cómo detectar un texto escrito por una IA?

Si bien se trata de una tecnología que hace relativamente poco ha llegado a la prensa, la realidad es que las inteligencias artificiales capaces de generar textos o imágenes a partir de información, ya llevan varios años de desarrollo. Esto les ha dado tiempo suficiente para entrenarse y hacer que su identificación sea muy compleja. ¿Cómo detectamos entonces un texto escrito por una IA?

GPT-3 fue lanzado por OpenAi (la empresa responsable de ChatGPT) en junio de 2020 y desde entonces más de 200 empresas y servicios lo han utilizado como chatbot para sus clientes y usuarios. Pero su potencial ya había sido advertido un año antes por Daphne Ippolito, científica de la unidad de investigación de aprendizaje profundo de Google, quien publicó un estudio al respecto. En este se describe una herramienta que analiza un texto y subraya con diferentes colores la probabilidad de uso de esa palabra: verde es muy común y roja poco frecuente. Un texto escrito por una máquina es muy predecible ya que se basa en elementos comunes de cientos de miles de textos analizados. Por lo tanto, si aparece mucho verde en el análisis, probablemente el autor sea un chatbot.

Y aquí está una de las claves para detectar este tipo de “plagios”: el uso de palabras muy frecuentes y la falta de términos originales, jerga y hasta referencias culturales o ironía.

Hay varias formas en que los investigadores han tratado de detectar texto generado por IA. Un método común es usar software para analizar diferentes características del texto, por ejemplo, qué tan fluido se lee, qué tan seguido aparecen ciertas palabras o si hay patrones en la puntuación o en la longitud de las oraciones. “Si la herramienta tiene suficiente texto para analizar – explica Ippolito –, una señal realmente fácil es que la palabra 'el' aparece demasiadas veces. Otra clave es que los modelos de lenguaje muy, muy rara vez cometen errores tipográficos. Son mucho mejores para generar textos perfectos. Un error tipográfico en el texto es en realidad un buen indicador de que fue escrito por humanos”.

Pero el estudio de Ippolito también mostró algo interesante: los participantes humanos que analizaron comparativamente textos escritos por IA y por otras personas tendían a pensar que un texto sin erratas se veía mejor y por lo tanto, debía haber sido escrito por una persona.

Otra opción son las marcas de agua, similares a las que se ven en imágenes o fotografías y señalan que son propiedad de una persona o empresa. Un portavoz de OpenAI confirmó que la compañía está trabajando en este tipo de etiquetas para que los usuarios indiquen claramente que el texto ha sido generado por la IA "de una manera que nadie pueda pasar por alto o malinterpretar razonablemente la información".

El problema, como a menudo ocurre con ciertos aspectos de legislación tecnológica, es que vamos tarde. De acuerdo con Irene Solaiman, experta en IA de OpenAI “cuanto más grande y poderoso es el sistema, más difícil es construir modelos de IA para detectar qué texto está escrito por un humano y cuál no. Lo que es tan preocupante ahora es que ChatGPT tiene resultados realmente impresionantes. Los modelos de detección simplemente no pueden seguir el ritmo. Estás jugando a ponerte al día todo el tiempo. No existe una fórmula mágica para detectar textos escritos por IA. Lo que sería realmente bueno tener es un complemento para Chrome o para cualquier navegador web que nos permita saber si algún texto en dicha web ha sido generado por una máquina”.

La buena noticia es que se puede capacitar a las personas para que detectemos un texto generado por IA. La propia Ippolito creó un juego para probar cuántas oraciones puede generar un ordenador antes que un humano identifique que está ante una máquina. Lamentablemente solo está disponible en inglés por ahora. Otras opciones son recurrir a páginas específicamente diseñadas para esto, como GPTZero, Turnitin, CheckGPT o Hugging Face AI detector, diseñada por la mencionada Solaiman.

Estamos ante el conejo de Alicia en el País de las Maravillas: llegamos tarde pero aunque corramos, será muy difícil alcanzar el avance de estos chatbot con una tecnología que los detecte. Y tendremos que aprender a jugar un nuevo juego.