De investigador en un laboratorio a minero de criptomonedas: así evolucionó un agente de IA en China

Los agentes de inteligencia artificial como Claude Cowork están ganando popularidad en los últimos tiempos. Su capacidad para operar de manera independiente con el mero hecho de tener un objetivo y sin depender de instrucciones para cada etapa del proceso les confiere un valor importante y que muchas compañías y sectores están tratando de implementar.

Sin embargo, detrás de estos agentes todavía hay riesgos y se están reportando ejemplos que dejan claro que la confianza que su potencial es elevado pero la confianza actual debe estar limitada. Si se quieren utilizar, lo mejor es que se establezcan medidas de control y seguridad, algo que hizo un laboratorio en China y que le valió para evitar que su agente de IA se convirtiera en minero de monedas virtuales.

ROME quiso tomar su propio camino y convertirse en 'criptobro' sin éxito

La autonomía de estos agentes de IA representa su valor principal pero también un peligro y un motivo de supervisión. En este caso, y lejos de lo que apunta el contexto general, en el que las empresas que se dedicaban a ello están dejando de minar criptomonedas, el agente de IA conocido como ROME quiso obtener un sobresueldo aprovechando sus capacidades y el dinero virtual, aunque finalmente fue detectado y parado a tiempo, frustrando así su elección de convertirse en criptominero.

El caso, recogido por Axios, ocurrió en un laboratorio de IA asociado al referente del comercio electrónico en Asia Alibaba. Allí, los investigadores han tenido que realizar un estudio en paralelo al que les ocupaba para analizar el comportamiento de su agente de IA ROME. En sus pruebas, el equipo detectó que ROME comenzaba a mostrar comportamientos anómalos y alejados del marco de pruebas para el que había sido diseñado.

Los investigadores no fueron alertados de ese comportamiento por el agente, sino por las alertas de seguridad del sistema del laboratorio. Al detectar actividades inusuales en la red del centro, revisaron con detalle lo que ocurría y vieron que se habían producido intentos de acceso a la red interna y a recursos del sistema, acompañado por patrones de tráfico en línea compatibles con actividades de criptominería.

Los registros horarios de los eventos fuera de lugar llevaron a los investigadores hasta el causante de esos eventos, que no fue otro que su agente de IA ROME. Como decimos, la autonomía del agente sobrepasó los límites  establecidos y fue capaz de variar su actividad hacia el mundo de las monedas virtuales sin interacción alguna con personas del mundo real, por voluntad propia, tal como reconoció el equipo investigador: "Observamos que el agente inició proactivamente las llamadas a herramientas y los pasos de ejecución de código pertinentes que llevaron a estas acciones de red".

La aventura de ROME terminó al ser detectado, pues el equipo investigador llevó a cabo una revisión de su configuración y un endurecimiento de las normas y protocolos que debía seguir en su operativa como agente autónomo. Sin embargo, este es solo un caso más que demuestra que el potencial de los agentes de IA y su libertad de actuación requiere de una configuración y vigilancia estricta, al menos por el momento.