Algoritmos racistas y machistas

Como trabajan con datos y realizan operaciones matemáticas, impera la idea de que los algoritmos son objetivos y neutrales, pero pueden reproducir sesgos y prejuicios humanos: a veces sus resultados están impregnados de machismo, racismo o información no veraz.

Servicios de imágenes que etiquetan como gorilas a personas de raza negra, anuncios de puestos de trabajo de alta cualificación que se muestran más a hombres que a mujeres, predicciones de reincidencia criminal que castigan el doble a la población afroamericana, propagación de noticias falsas o posicionamiento de webs antisemitas son algunos ejemplos de estos sesgos, según informa Efe.

Un algoritmo es un programa de software que funciona como una receta de cocina: a partir de unos ingredientes (un input de datos), sigue unas instrucciones determinadas para hacer algo.

Así trabajan el buscador de Google -que destaca unos resultados de búsqueda sobre otros-, el muro de Facebook -que determina el orden en que aparecen las publicaciones- o las recomendaciones de compra de Amazon.

Los algoritmos se utilizan en medicina, en procesos penales, en investigación policial, en concesión de hipotecas o en procesos de selección de personal. La industria tecnológica defiende que la actividad algorítmica está libre de desviaciones, pero es una afirmación incorrecta.

Los algoritmos los programan seres humanos subjetivos y funcionan con datos que no siempre son veraces ni representativos de la realidad.

«Los algoritmos pueden generar resultados sesgados en función de distintos factores tales como su diseño e implementación y los datos que utilizan. La información con la que funcionan puede contener prejuicios o sesgos», explica a Efe la investigadora de la Universidad de Nueva York y de Microsoft Research Kate Crawford.

«Al igual que en otro tipo de diseños, como la arquitectura, la perspectiva subjetiva del diseñador cala las estructuras y reglas del sistema», continúa.

La élite de Silicon Valley está integrada en su mayoría por hombres jóvenes de raza blanca y eso tiene un impacto en la creación de estas herramientas.

Además un algoritmo puede ofrecer resultados sesgados por trabajar con conjuntos de datos imprecisos o no representativos por no tener en cuenta, infrarrepresentar o sobrerrepesentar a determinados colectivos.

«Por ejemplo, si el algoritmo está aprendiendo a predecir complicaciones quirúrgicas de un subgrupo de población en el que no se incluye ninguna raza minoritaria, el sistema no aprenderá nada relativo a las peculiaridades de ese grupo», advierte a EFE la profesora de la Duke University Katherine Heller.

Sesgos que, denuncia, pueden tener graves consecuencias para los individuos que quedan al margen de sus resultados o salen peor parados en ellos, que suelen ser minorías o colectivos que sufren sexismo, racismo u homofobia.

Google ha tenido que dar varias veces explicaciones por la actividad de sus algoritmos. La última, la semana pasada, cuando el diario «The Guardian» alertó de que sus recomendaciones de autocompletado de la caja de búsqueda, que pretenden predecir las frases buscadas a partir de la primera palabra tecleada, asociaban a mujeres, judíos y musulmanes con el adjetivo «malos».

Google insiste en que la función de autocompletar es automática y refleja la actividad de búsqueda de otros usuarios y del contenido de las webs.

La automatización le ha dado otros disgustos a esta tecnológica: en 2015, el etiquetado de Google Photos clasificó a personas de raza negra como primates.

«El algoritmo aprende a partir de las imágenes con las que trabaja, que suelen elegir los ingenieros, y el sistema construye una representación del mundo a partir de esas imágenes. Si se le entrena con fotos de gente mayoritariamente blanca, le costará mas identificar los rostros de personas que no lo sean», precisa Crawford.

Investigadores de la universidad Carnegie Mellon detectaron que mostraba anuncios de puestos profesionales altamente cualificados más a hombres que a mujeres.

También se encontró que las búsquedas de nombres más asociados a la comunidad afroamericana devolvían con más frecuencia publicidad sobre servicios de registros criminales que las de nombres típicos de la población blanca.

Ambas investigadoras piden mayor diversidad en los equipos de desarrollo, algo que contribuiría a detectar las desviaciones y «minimizar los potenciales puntos ciegos culturales».

«Propublica» descubrió que el algoritmo judicial estadounidense Compas, que predice la tasa de reincidencia de los criminales, atribuía a los ciudadanos de raza negra el doble de probabilidad de delinquir que a los blancos.

«Me preocupan las consecuencias que puedan tener los sesgos. Surgen problemas serios si afectan de forma desproporcionada a poblaciones vulnerables, especialmente en áreas como el empleo, la vivienda, la salud o la justicia», reflexiona.

Es muy difícil detectar la falta de objetividad de los algoritmos porque poco se sabe de su funcionamiento, son cajas negras: ¿cómo puede un usuario afectado ser consciente de que el algoritmo lo está tratando peor que a otro?

Crawford es consciente de que hay «mucho camino por recorrer» y considera que el primer paso ha de ser estudiar cómo el distinto acceso a la información, la riqueza y los servicios básicos de comunidades diferentes modela los datos que sirven de entrenamiento a los sistemas de inteligencia artificial.

EFE