Así se «hackea» la IA para que se «porte bien»

Imagina que tienes una foto de un perro. Para que un sistema de reconocimiento de imágenes (como una inteligencia artificial) pueda ver algo diferente a ese perro, se le enseña a «entender» la imagen de una manera especial.

Estos algoritmos suelen descomponer cada imagen en pequeños trozos llamados píxeles. Cada píxel tiene un color específico. El sistema usa algoritmos (reglas matemáticas) para analizar estos píxeles y buscar patrones que reconozca de su entrenamiento. Por ejemplo, puede buscar formas y colores que le recuerden a un perro.

Bien, pues después de haber sido entrenado para reconocer a estos perros, se pueden hacer cambios sutiles en los píxeles o en los patrones que el sistema reconoce. Por ejemplo, si se cambia el color de los ojos del perro, el sistema podría confundirse y pensar que es un gato.

Esto, que puede parecer algo menor, tiene unas enormes repercusiones si hablamos de la conducción automática y el reconocimiento de las señales de tráfico.

Hackear la IA

Precisamente por esto, algunas de las empresas que se dedican a desarrollar la IA trabajan también en evitar que los «malos» puedan corromper los sistemas y los algoritmos.

Microsoft, por ejemplo, tiene un equipo dedicado a estos menesteres. Apropiándose de un sistema de trabajo similar al que se emplea en ciberseguridad (donde conviven los equipos Red Team y Blue Team, en el que los primeros actúan como atacantes simulados, intentando encontrar y explotar vulnerabilidades, mientras que los segundos se encargan de defender y proteger la red), Ram Shankar Siva Kumar es el investigador principal y creador de este AI Red Team. «Hacemos un trabajo divertido tratando de engañar a los sistemas», asegura sonriendo. Tanto que, reconoce, la compañía no les pone límites sobre lo que pueden o no hacer intentando encontrar estos errores en la IA para tratar de evitarlos. «Nuestro trabajo es encontrar fallos», justifica.

Aunque la disciplina en la que trabaja existe desde 2004, reconoce que ha explosionado desde 2018 porque empezó a ser muy popular. Su trabajo no solo afecta al reconocimiento de imágenes, sino a todo aquello con lo que se entrena y utiliza la IA, como pueden ser los sonidos. «Para un humano no son perceptibles algunos de estos hacks, pero para las máquinas sí», asegura, poniendo como muestra un audio en el que las máquinas entienden cosas que pasan desapercibidas para los humanos.

Porque, además, técnicas para manipular y engañar a estas máquinas hay muchas; desde envenenar los datos para crear malos resultados en la IA generativa hasta hacer jailbreak en la IA (es decir, engañar a la IA para que acabe dando una respuesta correcta aunque no debiera, como filtrar una contraseña). De hecho, para mejorar estos sistemas, también hay páginas web que, a modo de juego, permiten a los usuarios intentar ser más listos que la máquina y, al mismo tiempo, mostrar a los investigadores nuevas vías de ataque en la que ellos no han reparado (como Gandalf Lekera).

Preguntado si, como experto, cree que nos podemos fiar de la IA, Siva Kumar sonríe y asegura que sí, aunque recomienda mantener una «actitud crítica».

Hacer cumplir los principios

Este Red Team es una de las maneras en las que, según Microsoft, vigila que se cumplan sus principios en relación a cómo debe ser la Inteligencia Artificial para que esta sea confiable.

De hecho, la compañía tiene a dos mujeres al frente de este desafío: Natasha Crampton, vicepresidenta y Chief Responsible AI Officer (primera persona en ocupar este cargo) y Sarah Bird, Chief Product Officer en Responsible AI. Mientras que Crampton supervisa todos los procesos, especialmente a nivel legal y de relación con terceros (como gobiernos), Bird es la encargada de velar porque, a nivel técnico, se cumplan todos estos criterios.

«Es crucial tener conversaciones fuera del equipo, con los gobiernos también para las nuevas leyes, pero también con la sociedad civil y otras organizaciones. La oportunidad de IA es tan grande que tenemos que asegurarnos de que afecta a todos el mundo, por igual y para bien», defendía Natasha Crampton, añadiendo que en la corporación son conscientes de que necesitan más perspectivas que la de la gente que trabaja en Microsoft, pese a que su misión se lleva a cabo a nivel internacional para asegurarse de que tienen una representación «buena» de todo el mundo.

Mientras, Sarah Bird explicaba que, en relación a los sesgos que tiene la IA, los responsables técnicos hacen «muchas cosas para evitarlos». «Empezamos entendiendo de manera amplia, después probando y haciendo test y defendiendo». Porque aunque reconoce que es importante tener «los datos correctos en el modelo», reconoce que se pueden usar mal, por lo que tienen que trabajar sobre ellos.

Por eso, también han desarrollado unos sensores y detectores para verificar que los prompt engineers (los desarrolladores encargados de dar las instrucciones para que funcione la IA) tengan más facilidades a la hora de hacer un desarrollo sostenible. «Tienen herramientas para comprobar que se cumplen los estándares que marcamos desde Microsoft», asegura la Chief Responsible AI Officer.

Según su colega técnica, estos principios son «necesarios, pero no eficientes». Por eso, asegura que uno de los grandes retos a los que se enfrentan los perfiles técnicos es cómo comprobar este cumplimiento de los estándares «antes y después de desarrollar un producto». Para eso es para lo que se tiene, entre otras cuestiones, este Red Team, compuesto de perfiles técnicos, pero muy diversos, que saben «cómo entrenar» la IA.

Polémica con OpenAI

Cabe recordar que Microsoft es uno de los mayores inversores de OpenAI (de quien coge sus LLM para ofrecer servicios de IA, como Copilot), que se ha visto envuelta en varias polémicas por haber entrenado sus modelos sin, supuestamente, haber seguido algunos principios éticos.

Preguntadas por esto, Brid detallaba que, aunque el modelo fundacional que usa Microsoft es el mismo que OpenAI, sobre él Microsoft añade más capas para, precisamente, asegurarse de que lo que llega al usuario final cumple con estos principios éticos. Mientras, Crampton pedía prudencia sobre estas polémicas, detallando que aún no está claro si se ha cometido algún tipo de ilegalidad o no (como denuncian algunos creadores, tanto de texto como el New York Times o de dibujos e ilustraciones.

Curar la ceguera en neonatos con un móvil y la IA

►La retinopatía prematura (ROP) es una enfermedad ocular que afecta a los bebés prematuros, especialmente a los nacidos antes de las 31 semanas. La ROP se produce cuando crecen vasos sanguíneos anormales en la retina, la capa sensible a la luz en la parte posterior del ojo. Estos vasos sanguíneos pueden causar problemas graves en la visión y, en casos severos, pueden llevar a la ceguera.

La detección y el tratamiento temprano son cruciales para prevenir problemas graves. Es importante que los bebés prematuros reciban evaluaciones oftalmológicas regulares.

Sin embargo, hay solo 200.000 oftalmólogos en todo el mundo y, de ellos, solo 10.000 son infantiles. «Cada vez hay más niños prematuros y, si no se tratan, se quedan ciegos», asegura Juan Lavista Ferres, Chief Data Scientist & Lab Director de AI for Good, una iniciativa de Microsoft que utiliza la IA para abordar algunos problemas del mundo. Gracias a un proyecto realizado, basta un samrtphone y una lente para comprobar si los prematuros tienen este problema de ROP.