Los controvertidos stickers que Facebook e Instagram permiten crear con IA

Meta anunció la semana pasada una serie de novedades para sus redes sociales basadas en inteligencia artificial y entre las que se encontraba la posibilidad de generar stickers a partir de descripciones de texto en WhatsApp, Facebook e Instagram. Esta característica ya se ha habilitado para un grupo limitado de testadores en las dos últimas plataformas y los usuarios están descubriendo que no es complicado crear imágenes controvertidas. Algo que, en teoría, deberían impedir los filtros de Meta.

Estas imágenes son generadas utilizando el nuevo modelo de síntesis de imagen Emu que ha desarrollado la compañía de Mark Zuckerberg. Una vez disponibles, no están limitadas a la mensajería de Facebook o Instagram, sino que pueden compartirse fácilmente en redes sociales.

found out that facebook messenger has ai generated stickers now and I don't think anyone involved has thought anything through pic.twitter.com/co987cRhyu

— defend trans rights🏳️‍⚧️ - podesbiens.bsky.social (@Pioldes) October 3, 2023

En pocos días han comenzado a virilizarse stickers con imágenes como la Mickey Mouse armado o fumando marihuana, las torres gemelas del World Trade Center ardiendo, el Papa con un fusil de asalto, Elmo, de Barrio Sésamo, con un cuchillo en la mano, Karl Marx con pechos, el primer ministro de Canadá Justin Trudeau mostrando el trasero e incluso niños soldado.

Todos los modelos de texto a imagen se enfrentan a este tipo de retos e introducen una serie de limitaciones en las imágenes que se pueden crear para evitar el contenido ilegal, controvertido u ofensivo. Es un comportamiento típico en los modelos de código abierto sin censura, pero más controlado en los de uso más general como DALL-E o Midjourney. Lo que sorprende en este caso es la facilidad con la que, aparentemente, pueden saltarse esos limites en plataformas de uso tan masivo como Facebook e Instagram.

Andy Stone, portavoz de Meta, señaló sobre esta cuestión al medio Venturebeat que “como ocurre con todos los sistemas de IA generativa, los modelos podrían arrojar resultados inexactos o inapropiados. Continuaremos mejorando estas funciones a medida que evolucionen y más personas compartan sus comentarios”.

Tras la difusión de stickers ofensivos creados con IA en Facebook e Instagram, es de esperar que Meta añada nuevas salvaguardas a su herramienta que limiten su creación. En cualquier caso, es difícil detectar todo el contenido potencialmente dañino, ofensivo o que infrinja derechos de propiedad en todas las culturas del mundo cuando una herramienta puede crear casi cualquier combinación de objetos y personas que se puedan imaginar.