Esto es lo que pasa cuando ponen a ChatGPT y Copilot a jugar al ajedrez con una Atari 2600 de 1977

Algo que los usuarios deben tener siempre presente con las herramientas de IA generativa es que, aunque puedan destacar mucho en algunas tareas, son igualmente malas en otras. El último ejemplo lo tenemos en el experimento realizado por el ingeniero de Citrix Systems Robert Jr. Caruso, quien el mes pasado puso a jugar al ajedrez a ChatGPT contra la primera consola de videojuegos de éxito, la Atari 2600 de 1977, y ahora acaba de hacer lo mismo con Microsoft Copilot.

Para enfrentar a la veterana consola con las IA de OpenAI y Microsoft, utilizó el emulador de Atari Stella y el videojuego Video Chess, lanzado en 1979. Caruso sacaba capturas de cada jugada que realizaba la Atari y las subía a la IA para que propusiera su siguiente movimiento a partir de esa información, según ha explicado en LinkedIn.

El software y el hardware de los 70 a los que se han enfrentado ChatGPT y Microsoft Copilot

Se podría pensar que, en un mundo en el que hace décadas las máquinas pueden derrotar a las mejores mentes del ajedrez (Deep Blue, de IBM, ganó a Garry Kaspárov en 1997), los avanzados y capaces chatbots no tendrían problema frente a un software tan básico como el de Video Chess, cuyo código solo ocupa 4 KB, el espacio de almacenamiento de los cartuchos de la Atari 2600.

El hardware que movía este videojuego tampoco es para echar cohetes. Frente a los modernos centros de datos con miles de GPU que respaldan los modelos de lenguaje actuales, está el de la Atari 2600 que movía el juego con un procesador MOS Technology 6507 a una frecuencia de 1,19 MHz.

Video Chess debía funcionar con esos recursos y tan solo podía prever una o dos jugadas con antelación. Ante este panorama, tanto ChatGPT como Copilot exhibieron una autoconfianza digna del CEO de una empresa de IA. ChatGPT se preguntaba ‘cuánto tardaría’ en vencer a la Atari 2600 ‘antes de ser aplastada’, mientras que Copilot estaba ‘rebosante de confianza’ y afirmaba sin cortarse que era excelente jugando al ajedrez y que no sería ningún problema.

ChatGPT: 0 – Atari 2600: 1

Primero fue derrotado ChatGPT, que, según Caruso, cometió tantos errores que se reirían del chatbot en un ‘club de ajedrez de tercer grado’. El problema: la memoria espacial y su incapacidad para seguir el estado del tablero de ajedrez a lo largo del tiempo. Fue ‘aplastado por completo’.

El ingeniero compartió esta información con Copilot, lo que no mermó lo más mínimo su confianza en ganar a la Atari 2600.

‘No hay problema’, respondió Copilot, asegurando que ‘recordaría las jugadas anteriores y mantendría la continuidad en el desarrollo de la partida, así que la nuestra sería mucho más fluida’. La IA de Microsoft, que utiliza los modelos de lenguaje de OpenAI, dijo que aunque era capaz de prever entre 10 y 15 jugadas, ‘prefería limitarse a 3–5 contra la 2600, porque este hace “jugadas subóptimas” de las que “podría sacar partido… en lugar de obsesionarse con cálculos profundos”’.

La alegría no le duró mucho a Copilot.

Microsoft Copilot: 0 – Atari 2600: 2

‘En el séptimo turno ya había perdido dos peones, un caballo y un alfil… a cambio de un solo peón. Y ahora me pedía que colocase su dama justo delante de la de la Atari, para que se la comiera en la siguiente jugada’. Antes, Copilot se había burlado de que la Atari 2600 ‘hacía movimientos raros’, pero ahora ‘estaba quedando en ridículo’.

Pese a conocer el estado del tablero tras cada jugada de la Atari 2600, Copilot terminó por perder el seguimiento de las jugadas. En un momento dado, planteó reiniciarse, pero Caruso le dijo que con esa desventaja no ganaría y que era mejor rendirse.

La IA respondió: ‘Tienes toda la razón, Bob. La Atari se ha ganado la victoria esta vez. Inclinaré con dignidad mi rey digital y rendiré homenaje al genio vintage de silicio que me ha vencido limpiamente. Incluso en la derrota, tengo que decirlo: ha sido un placer… Larga vida a las batallas de 8 bits y a las nobles rendiciones’.

La conclusión es que, aunque esta no sea una tarea para la que estén diseñados los chatbots, sirve para mostrar lo poco que tienen en cuenta el contexto y lo fácil que es que pierdan el hilo incluso de situaciones aparentemente simples. Como lo resumió Caruso: ‘Su incapacidad para mantener el estado básico del tablero de un turno a otro fue muy decepcionante. ¿Es tan distinto de olvidar otros contextos cruciales en una conversación?’