Dario Amodei, CEO de Anthropic, admite lo que todos temíamos: "no tenemos ni idea de cómo funciona la Inteligencia Artificial"

La dependencia tecnológica es algo que asumimos en nuestro día a día. Damos por sentado que la luz se enciende, que Internet funciona, que el móvil responde. Pero cuando uno de esos pilares falla, como ocurrió con el suministro eléctrico hace unos días, sentimos esa punzada que nos recuerda que estamos a merced de sistemas cuyas interioridades, muchas veces, se nos escapan.

Ahora, imaginemos esa sensación multiplicada por mil y aplicada a la tecnología que promete revolucionarlo todo: la inteligencia artificial generativa. Dario Amodei, CEO de Anthropic (la compañía detrás del chatbot Claude, fundada por ex-miembros de OpenAI preocupados por la seguridad), ha puesto negro sobre blanco lo que muchos sospechaban o temían.

En un ensayo publicado en su web personal, Amodei lo dice sin tapujos: "Cuando un sistema de IA generativa hace algo, como resumir un documento financiero, no tenemos ni idea, a nivel específico o preciso, de por qué toma las decisiones que toma". No sabemos por qué elige unas palabras y no otras, o por qué a veces comete errores aunque normalmente sea precisa. Una admisión brutal viniendo de uno de los líderes del sector.

La "caja negra" de la IA"": por qué no entendemos nuestras propias creaciones

Amodei reconoce que para la gente fuera del mundillo de la IA, puede resultar sorprendente saber que quienes construyen estas tecnologías "no entienden cómo funcionan nuestras propias creaciones de IA". Y valida la preocupación que esto genera: "tienen razón al estar preocupados".

¿Por qué ocurre esto? El propio Amodei lo deja claro: los generadores de texto e imágenes actuales funcionan "alimentándose de una pila gigantesca de datos" (creados por humanos) y dejando que sistemas estadísticos encuentren patrones y los reproduzcan. No operan de manera inteligente como lo haría un humano, sino replicando patrones aprendidos.

Esta falta de comprensión de los mecanismos internos es algo, según Amodei, "sin precedentes en la historia de la tecnología". Normalmente, cuando construimos algo, sabemos cómo funciona cada pieza. Con la IA generativa actual, no es del todo así.

Anthropic al rescate

Precisamente esta ignorancia sobre el funcionamiento interno y los riesgos imprevistos que podría acarrear fue, según Amodei, una de las razones clave que le llevaron a él y a otros a abandonar OpenAI en 2020 (por discrepancias sobre las prácticas de seguridad y la priorización del beneficio, a pesar de que OpenAI haya decidido abandonar sus planes de convertirse en una organización con ánimo de lucro) y fundar Anthropic al año siguiente con el objetivo de construir una IA más segura.

Parte de ese trabajo por la seguridad pasa, necesariamente, por entender qué ocurre dentro de esos modelos. Amodei revela que Anthropic se ha propuesto desarrollar las herramientas necesarias para hacer una especie de "resonancia magnética a la IA" en la próxima década.

El objetivo es descifrar la "interpretabilidad" de la IA, entender su "funcionamiento interno", antes de que estos modelos alcancen un nivel de poder abrumador y sea demasiado tarde para controlar posibles efectos indeseados.

Muchos de los riesgos y preocupaciones asociados con la IA generativa son, en última instancia, consecuencias de esta opacidad y serían mucho más fáciles de abordar si los modelos fueran interpretables.

De hecho, cuenta un experimento interno reciente donde un equipo ("rojo") introdujo deliberadamente un problema de alineación en un modelo, y varios equipos ("azules") consiguieron identificar el problema usando las herramientas de interpretabilidad que están desarrollando. Es un signo de progreso, aunque admite que queda mucho trabajo para escalar estas herramientas.

Amodei concluye con una reflexión muy interesante: "La IA poderosa dará forma al destino de la humanidad, y merecemos entender nuestras propias creaciones antes de que transformen radicalmente nuestra economía, nuestras vidas y nuestro futuro".

Que uno de los principales actores del desarrollo de la IA admita tan abiertamente esta falta de comprensión fundamental es significativo. Nos recuerda, como lo hizo el apagón a otra escala, que dependemos cada vez más de tecnologías increíblemente potentes cuyos mecanismos internos y posibles fallos no siempre entendemos del todo.