OpenAI disuelve el equipo de seguridad creado para evitar que la IA cause la 'extinción humana'

No ha llegado al año de vida. El pasado julio, OpenAI anunció la creación de un equipo enfocado en los riesgos que entraña el desarrollo de una AGI o Inteligencia Artificial General. Esto es, un tipo de IA que tiene la capacidad de comprender, aprender y aplicar conocimiento de una manera comparable a la inteligencia humana. Dirigido por el cofundador de OpenAI, Ilya Sutskever, y por el investigador Jan Leike, ha sido disuelto por OpenAI entre acusaciones de no dedicarle los recursos suficientes. En los últimos días, tanto Sutskever como Leike han anunciado su marcha de la compañía de Sam Altman.

Este departamento tenía la tarea de crear medidas de seguridad para sistemas avanzados de inteligencia general que 'podrían conducir a la pérdida de poder de la humanidad o incluso a la extinción humana', según una publicación en el blog de OpenAI el pasado julio. Es lo que la compañía denomina superalineamiento y tiene como objetivo que una IA se comporte de manera alineada con los valores humanos, de forma segura y fiable, incluso en situaciones imprevistas y complejas. 'Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta', dijo entonces la compañía.

'OpenAI asume una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos novedosos. Hace tiempo que deberíamos tomarnos increíblemente en serio las implicaciones de la AGI', ha afirmado Leike en una serie de publicaciones en X al anunciar su marcha de la compañía, este viernes.

Tanto la marcha de Leike como la de Sutskever se han producido en los días siguientes a que OpenAI presentara su nuevo modelo de IA, GPT-4o. Según CNBC, algunos miembros del equipo de superalineamiento están siendo transferidos a otros departamentos de la empresa. Tanto este medio como Wired recogen las denuncias de varios empleados de OpenAI por no destinar suficientes recursos computacionales al departamento de superalineación.

'He estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura', escribió Leike. 'Durante los últimos meses mi equipo ha estado navegando contra el viento. A veces estábamos luchando por la informática y cada vez era más difícil realizar esta investigación crucial'.

Over the past few months my team has been sailing against the wind. Sometimes we were struggling for compute and it was getting harder and harder to get this crucial research done.

— Jan Leike (@janleike) May 17, 2024

Sobre la marcha de Leike, Altman aseguró en X que 'estoy muy agradecido por las contribuciones de @janleike a la investigación de alineación y la cultura de seguridad de OpenAI, y me entristece mucho verlo irse. Tiene razón, tenemos mucho más por hacer; estamos comprometidos a hacerlo. Tendré una publicación más larga en los próximos días'.

i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.

🧡 https://t.co/t2yexKtQEk

— Sam Altman (@sama) May 17, 2024

En su anuncio sobre la formación del equipo de seguridad en julio pasado, OpenAI dijo que estaba dedicando el 20% de su potencia informática disponible a medidas de seguridad a largo plazo y esperaba resolver el problema en cuatro años.

Sutskever no ha dado ninguna explicación sobre las razones que han llevado a su salida de la empresa, aunque afirmó en X que estaba 'seguro de que OpenAI construirá [AGI] que sea seguro y beneficioso' bajo la dirección de Altman.

Sutskever fue uno de los cuatro miembros de la junta directiva de OpenAI que participaron en el intento de expulsar a Altman de la compañía el otoño pasado y que se saldó con su restitución como CEO unos días después de su despido.

Estas no han sido las únicas bajas que ha tenido el ahora disuelto equipo de superalineación en los últimos meses. Según publicó The Information el mes pasado, Leopold Aschenbrenner y Pavel Izmailov, dos investigadores del equipo, fueron despedidos por filtrar secretos de la empresa. Y según Ars Technica, Cullen O'Keefe dejó su puesto como líder de investigación sobre fronteras políticas en abril y Daniel Kokotajlo, un investigador de OpenAI que es coautor de varios artículos sobre los peligros de modelos de IA más capaces, 'abandonó OpenAI debido a la pérdida de confianza en que se comportaría de manera responsable en la época de AGI'.

OpenAI ha señalado que el trabajo del equipo de superalineación estará 'integrado más profundamente' en sus otros equipos de investigación, un cambio que se encuentra actualmente en curso. La investigación sobre los riesgos asociados con modelos más potentes ahora estará dirigida por John Schulman, quien codirige el equipo responsable de ajustar los modelos de IA después del entrenamiento.