En un contexto en el que las capacidades y la relevancia de las aplicaciones de inteligencia artificial son crecientes, un equipo interdisciplinar, comandado por Juliana Castañeda (UOC), se ha propuesto evaluar los posibles prejuicios existentes en la programación de estas aplicaciones.
Según afirma Castañeda, "es posible que los procesos algorítmicos discriminen por género, incluso cuando están programados para ser 'ciegos' a esa variable". "Si se usan datos históricos y éstos no están equilibrados, probablemente se apreciará un condicionamiento negativo", añade.
Para saber cómo de afectados por estos patrones están los distintos algoritmos a los que nos enfrentamos, el equipo ha analizado trabajos anteriores que identificaban sesgos de género en procesos de datos en cuatro tipos de IA: la que describe aplicaciones en procesamiento y generación de lenguaje natural, la encargada de la gestión de decisiones, la de reconocimiento facial, y de reconocimiento de voz.
Voces demasiado agudas y pieles demasiado oscuras
Han encontrado que todos los algoritmos estudiados identifican y clasifican mejor a los hombres blancos; reproducen creencias falsas sobre los atributos físicos que definen a las personas según su sexo biológico, origen étnico o cultural, u orientación sexual; y asocian de forma estereotipada la masculinidad y la feminidad con las ciencias y las artes, respectivamente.
En el caso de las aplicaciones de reconocimiento de imagen o voz, además de basarse en estos estereotipos, se da la circunstancia de que reconocen mejor las caras blancas e identifican peor las voces agudas. Por lo tanto, “los casos más susceptibles de sufrir estos defectos son aquellos algoritmos que se construyen a partir del análisis de datos reales que llevan asociado un contexto social”.
"El algoritmo, al entrenarse con datos sesgados, puede determinar los patrones ocultos que existen socialmente y, a la hora de operar, los reproduce. Así que, si en la sociedad, la representación de hombres y mujeres no es equilibrada, el diseño y desarrollo de los productos y servicios de IA presentarán sesgos de género", señala Juliana Castañeda.
Identificar para corregir
Las múltiples fuentes de sesgo de género y las particularidades de cada tipo de algoritmo y conjunto de datos hacen que eliminar las desviaciones sea un “desafío difícil, pero no imposible”. "Se necesita que los diseñadores y todas las personas involucradas en el desarrollo estén informadas sobre la posibilidad de tener sesgos asociados a la lógica de un algoritmo”, propone la investigadora de la UOC.
Además, “estos profesionales deben conocer las medidas que existen para minimizar al máximo los posibles sesgos y aplicarlas para que no se produzcan, porque si son conscientes de las discriminaciones que se dan en la sociedad, sabrán identificarlas cuando sus desarrollos las reproducen", apunta Castañeda.
Según su investigadora principal, “la novedad de este trabajo radica en que ha sido promovido por especialistas en diferentes áreas -sociología, antropología, género o estadística-. Así, los miembros del equipo completaron una perspectiva que va más allá de la matemática autónoma asociada al algoritmo par considerarlo como un sistema sociotécnico complejo".
El equipo
Junto a su investigadora principal, Juliana Castañeda Jiménez, estudiante de doctorado industrial de la Universitat Oberta de Catalunya (UOC), bajo la dirección de Ángel A. Juan, de la Universitat Politècnica de València, y Javier Panadero, de la Universitat Politècnica de Catalunya - Barcelona Tech (UPC); han intervenido en el estudio Milagros Sáinz y Sergi Yanes, del grupo de Género y TIC (GenTIC) del Internet Interdisciplinary Institute (IN3); Laura Calvet, de la Escola Universitària Salesiana de Sarrià; y Assumpta Jover, de la Universitat de València.
