“La gente necesita confiar en la IA, pero la IA necesita ganarse esa confianza”

Josefin Rosén lidera el equipo de SAS encargado de que la IA sea confiable y de confianza. Un reto, sobre todo teniendo en cuenta las diferencias culturales de los diferentes países en los que se desarrolla y se aplica la IA. En esta entrevista con La Razón, Rosén aborda algunas de las cuestiones y retos sobre cómo lograr que la IA sea más respetada y respetable.

¿Cuál es su visión sobre la ética y la transformación de los datos en general y especialmente en la inteligencia artificial? ¿Podemos confiar en la IA?

Sí, por supuesto. Lo que queremos decir con IA confiable es, como se puede deducir de la palabra, es IA en la que se puede confiar. Es la IA la que siempre está centrada en el ser humano, siempre mantiene al humano en el centro, donde siempre preguntas no solo si podemos sino si deberíamos hacer cosas que reflejen nuestros valores como sociedad. Esto podría ser un poco complicado, ya que somos una empresa global y estamos en muchos países diferentes, y lo que es correcto y adecuado es muy diferente entre diferentes contextos y casos de uso, culturas y países, etc. Así que en SAS, hemos adoptado o acordado seis principios rectores que reflejan nuestros valores y corresponden a la IA confiable, que son la centralidad humana, la transparencia, la inclusión, la solidez, la rendición de cuentas, así como la privacidad y la seguridad. Estamos poniendo mucho esfuerzo de diferentes maneras para asegurarnos de que estos seis principios sirvan como nuestra Estrella Polar.

¿Qué impacto tiene esto?

Se refleja en todo lo que hacemos en nuestra gente, en la forma en que operamos y en nuestra plataforma de software. Generalmente decimos que la aplicación confiable comienza con la primera línea de código. Es algo para lo que hay que planificar, y requiere un enfoque integral, involucra, por supuesto, tecnología, pero una empresa tecnológica necesita incluir procesos y personas. Esa es también una de las razones por las que acabamos de lanzar un nuevo grupo asesor de gobernanza de IA, y un nuevo servicio donde estamos, como valor añadido para nuestros clientes, ofreciéndoles asesoramiento en gobernanza de IA, utilizando un modelo que hemos estado ejecutando y aprendiendo dentro de nuestro propio negocio durante muchos años, y que ahora estamos compartiendo con los clientes.

¿En qué consiste ese modelo de gobernanza?

Es un modelo de gobernanza de IA con cuatro pilares que incluye la supervisión como primer pilar, donde hemos establecido un comité de supervisión de ejecutivos multifuncionales, ejecutivos de la industria artesanal, a quienes acudimos para preguntar sobre dilemas éticos de IA con respecto a las ventas y en qué deberíamos participar, cómo podríamos hacerlo y qué no deberíamos hacer. Tenemos un grupo de cumplimiento, que es el segundo pilar, que se ocupa de todos los diferentes tipos de regulaciones en todo el mundo. Se está introduciendo específicamente a la IA, pero también hay GDPR y diferentes regulaciones que están relacionadas con la IA como campos en la próxima Ley de IA de la UE, por supuesto. Es cultura, lo que significa que estamos entrenando y asesorando intencionalmente a nuestros colegas para crear una cultura de fluidez alrededor de los temas para que todos, en cierto modo, escuchen la campana de advertencia que les indica a todos que algo no está bien. El cuarto es operaciones, que procesan nuestra plataforma donde estamos construyendo funciones confiables.

Este modelo de gobernanza está activando toda la tecnología, todas las capacidades que necesita tener una plataforma para poder trabajar de manera confiable con la IA: desde los datos hasta la decisión, desde poder explorar los datos y asegurarse de que sean representativos y tengan alta calidad, y si tiene información privada o información que no puedes usar para construir los modelos, pueden preservarla y ocultar y enmascarar los datos para que puedan usarla. O incluso sintetizar nuevos datos si es que falta. Tenemos formas de detectar sesgos y mitigar sesgos en los modelos a través de varios métodos.

¿Puede detallarlo un poco más?

Tenemos herramientas para crear transparencia dentro de los modelos, porque si no puedes entender cómo se tomó la decisión, entonces nadie va a confiar en ella, no va a ser segura. Tenemos formas de gestionar nuestros modelos con el tiempo para que se mantengan justos y buenos y funcionen bien también con el tiempo porque las turbas de IA son un poco como la leche: tienden a caducar y necesitan alinearse con un presente que cambia constantemente. Así que necesitan actualizarse y volver a capacitarse con regularidad. Y necesitas saber cuándo tienes que volver a entrenar a una IA. Eso también es parte de las capacidades que estamos cubriendo en la plataforma.

Me preguntabas si se puede confiar en la IA. Es una gran pregunta. El tono a veces es dramático, asustando un poco a la gente. Pero el simple hecho de que la IA se está desarrollando tan increíblemente rápido hace que la gente siente que no entiende cómo funciona. Sienten que se están perdiendo. No saben dónde encajan. Se están preocupando de que les quiten sus trabajos, de que ya no será lo mismo. Estamos lidiando con lo que llamamos una “brecha de confianza en la IA”, dado que la IA puede ayudarnos a abordar todos estos desafíos en nuestra sociedad, como las enfermedades, y fortalecer las democracias o abordar los riesgos climáticos o el fraude o el abuso o todas estas cosas. Pero se ha visto frenado por la falta de confianza de la gente. Y esta falta de confianza amenaza la adopción y aceptación de la IA. Y si no tenemos aceptación, entonces no vamos a ninguna parte. La gente necesita confiar en la IA pero la IA necesita ganarse esa confianza. Eso sucede a través de la tecnología y el modelo de gobernanza de IA del que acabamos de hablar.

¿Qué papel juegan las regulaciones en este sentido?

Son otras piedras angulares importantes para establecer barreras de seguridad que realmente tienen el propósito de hacer que los ciudadanos se sientan seguros con la IA.

Hay una tercera vía, la alfabetización en IA. Necesitamos tener un conocimiento básico común sobre la IA en todas partes, desde las escuelas a una edad muy temprana a todas las educaciones superiores. Si entiendes esa pequeña parte, puedes contribuir y también puedes tomar decisiones, que son las mejores para ti y también utilizarás la tecnología de la mejor manera posible, entendiendo también cuáles son los riesgos y limitaciones. Hay riesgos, pero no son permanentes o del fin del mundo, como la mayoría de la gente piensa. Hay riesgos porque la IA hace las cosas tan rápido y eficientemente que, cuando algo salga mal, sucederá a mayor escala. Pero son riesgos que podemos abordar con la tecnología y el modelo de gobernanza de la IA.

En resumen, se puede confiar en la IA, pero debemos asegurarnos de ganarnos esa confianza.

Como usted ha dicho, hay algunos aspectos culturales a considerar cuando hablamos de ética y la confianza en la IA. Como líder mundial, ¿ve muchas diferencias entre algunas regiones, como Estados Unidos, América Latina, Europa o EMEA, Asia, etc.?

Hay una gran cantidad de diferencias culturales, obviamente. Dije que deberíamos preguntar no solo si podíamos, sino si deberíamos. En algunas culturas hay que preguntar más sobre el “podríamos” y no tanto en si “deberíamos”. Aparte de eso, creo que Europa está liderando el camino con la Ley de IA. Podemos ver cómo otras partes del mundo están mirando a nuestra región y la están siguiendo, incluso cuando hay diferencias culturales. La UE es un mercado importante y la Ley de IA exige que se cumpla con las regulaciones si cualquier empresa desea colocar productos en nuestro mercado o si tiene usuarios, por lo que tendrán que escuchar esas regulaciones incluso si está fuera de la región.

SAS tiene su sede en los EE. UU., donde no se están conteniendo tanto como nosotros. Creo que estamos logrando un muy buen equilibrio entre lo que debería ser regulado y lo que no, protegiendo al ciudadano frente a promover la innovación. Estamos, en cierto modo, forzando la transparencia y la confianza en los modelos de negocio. Estamos haciendo que trabajar de forma confiable con la IA sea una ventaja competitiva, lo que creo que ayuda en términos de adopción de las regulaciones. Tiene algunas disposiciones que promoverán la innovación en sí misma. Por ejemplo, cada nación necesita tener un entorno de pruebas regulatorio para probar la IA en un entorno seguro lo que puede ser utilizado por pequeñas empresas e investigación, por ejemplo. Habrá algunas excepciones para las empresas más pequeñas, lo cual es importante poder hacer promover la innovación y no solo dejar que los gigantes lideren el camino porque tienen todos los recursos.

¿Se repite el escenario de GDPR, que al principio sufrió una feroz competencia y después todas las empresas tecnológicas se volvieron respetuosas con la privacidad?

Definitivamente, podemos comparar la situación con GDPR. Creo que esta vez están teniendo un enfoque más intencional para la aplicación gradual de las reglas. Una aplicación gradual de las reglas también ayudaría en términos de adopción en la UE, pero también fuera de la UE.

¿Qué pasa con las empresas asiáticas, especialmente chinas, que se supone que no respetan ningún tipo de derechos y están desarrollando tan rápido este tipo de tecnología? ¿Tiene miedo sobre la implicación de estar en el entrenamiento de IA sin respetar los derechos humanos?

Sí tengo, por supuesto, pensamientos sobre cómo está ahora. Por ejemplo, las actividades de puntuación social que están teniendo no son tan protectoras de los derechos fundamentales, por ejemplo. Eso es una de las cosas que se menciona en la Ley IA act, este uso inaceptable de la IA. Así que, aunque no podamos decir cómo deberían hacerlo en China, al menos podemos asegurarnos de que no va a suceder en nuestra región y que no pueden usar este tipo de técnicas en nuestra región. No soy una persona de legal, pero sé que hay muchas discusiones en términos de regulaciones también en China. están trabajando en regulaciones similares, aunque con una diferencia cultural, seguro.

Me gustaría conocer su opinión sobre OpenAI con respecto a la ética del desarrollo de los modelos de entrenamiento y de lenguaje y el respeto a la propiedad intelectual.

Al principio las cosas sucedieron extremadamente rápido y definitivamente hubo preocupaciones. De hecho, algunos países prohibieron el uso de ChatGPT por esa razón. En el último año y medio, la IA ha despegado y explotado. Creo que no fue apropiado, al principio, con respecto a la propiedad intelectual, la privacidad y la transparencia. Esa parte ha sido criticada rápidamente, y ellos, no sé todos los detalles sobre cómo funciona ahora mismo, pero sé que la han cambiado. Así que puedes solicitar que tus datos salgan del modelo. Respetan la privacidad y han escrito muchas cosas en el sitio web sobre cómo estaban manejando los datos privados, etc.

Pero el modelo ha sido entrenado sin esas garantías…

Sí. Lo que podemos hacer, como la UE ha hecho, es regularizar el propósito general, poner algunos roles en proveedores o modelos de IA de propósito general, como ChatGPT. Hay reglas que tendrás que seguir, y esa es también una de las primeras que se está aplicando. Lo que podemos hacer como empresa es poner la confianza en el centro. En primer lugar, tenemos esta política de IA con perspectiva de género, que estamos muy intencionados en difundir a todos dentro de la empresa sobre lo que se puede y no se puede hacer con los datos de los clientes y los datos privados y los diferentes usos. No estamos construyendo nuestros propios modelos de lenguaje grandes, pero los estamos integrando de forma protegida, gobernada y comercializable. Pero no vamos a ser un proveedor por razones de responsabilidad.

Le han ascendido recientemente a este nuevo puesto.

Sí.

¿Cuál es su principal objetivo? No solo en SAS, sino también en un área más global.

Antes, la práctica de la ética de datos estaba 100% basada en los Estados Unidos. Ahora estamos expandiendo la práctica de la ética de los datos hacia Europa y más hacia nuestra región. Somos responsables de los esfuerzos y la estrategia en torno a la IA responsable, la IA confiable en la empresa, coordinando nuestros enfoques y nuestro mensaje sobre el tema, supervisando el desarrollo de productos de características de IA confiable en la plataforma, asegurándonos de que ese modelo de gobernanza que mencioné realmente esté operativo dentro de nuestra empresa y que estemos ejecutando confiablemente en todas partes. Básicamente, decimos que el objetivo principal del rol, que es un objetivo amplio, es asegurarnos de que dondequiera que aparezca nuestro software, no debe dañar a nadie ni a nada. Así que es un objetivo difícil, pero de eso se trata básicamente.

¿Es más fácil siendo europeo tener este rol sobre a confianza y la ética del usuario?

No creo que importe mucho. Creo que en Europa somos muy conscientes de la importancia de la IA confiable en comparación con muchas otras regiones. Por experiencia con GDPR y ese tipo de regulaciones en el pasado, ya tenemos una forma muy responsable de trabajar con los datos y los datos son la base de toda la IA, lo que realmente ayuda.