El sesgo de género de la inteligencia artificial está en las distintas dimensiones de esta tecnología –lo material, lo social y el pensamiento– por lo que no se resuelve “meramente cambiando la fórmula matemática de los algoritmos”, sostiene Lorena Jaume-Palasí, experta en Ética y Filosofía del Derecho, además de en procesos de digitalización y automatización. “Es como si uno intentase evaluar el bosque desde la explicación de un árbol, desentendiéndose de todo lo que es el ecosistema”, ejemplifica.
Jaume-Palasí es la autora del Informe Preliminar Sesgos de Género en la IA, del Instituto de las Mujeres. Un primer paso oficial para el diseño de medidas que los contrarresten. La asesora internacional alerta sobre lo problemático de usar una tecnología que estandariza y generaliza lo complejo con una falsa pretensión de neutralidad. Plantea también que estos sistemas “requieren materias primas caras, escasas y a menudo no reciclables”, como el silicio puro, de los que suelen carecer de forma desproporcionada las mujeres. A nivel social, precisan además un banco de datos que evolucione constantemente con monitorizaciones difíciles de ejecutar.
La IA requiere regulaciones y evaluaciones “dentro de su contexto de uso, no sólo de antemano, sino de forma continua, que consideren las asimetrías preexistentes, se enfoquen en sus efectos e involucren a los colectivos afectados”, recomienda. Pero también, señala que “deberíamos siempre preguntarnos si realmente la necesitamos”.
“Todo empieza por un cambio de mentalidad: desmitificar esa idea de que la IA es progreso, porque es una tecnología derivada de una perspectiva patriarcal arcaica –y profundamente racista– y progreso es crear una tecnología que es resiliente, que necesita poca electricidad, que ayuda a una comunidad determinada para un propósito determinado”, indica Jaume-Palasí, fundadora y directora ejecutiva de The Ethical Tech Society.
La IA como “producto” del siglo XVII
Hay que comenzar por preguntarse: “¿de dónde viene la idea de que el mundo puede ser descrito y sistematizado de forma matemática y que esa descripción es neutral, objetiva y racional?” El vocabulario, el sistema de pensamiento, señala, surge siglos atrás, cuando la IA ni se imaginaba.
“Estas ideas las vemos ya en trabajos filosóficos de personajes relevantes en la historia de la cultura europea, como Galileo Galilei, también en lo que es el pensamiento de Leibniz y de Kant y de todas estas figuras filosóficas que eran humanistas y que también hacían física, matemáticas y biología”. En su mayoría, indica, eran “hombres, blancos y privilegiados”.
El mundo se aborda con una perspectiva “mecanicista” con Gottfried Wilhelm Leibniz que dirá, por caso, en el siglo XVII que “el pensamiento es cálculo”, desarrollando su Calculadora escalonada y sentando las bases del sistema binario, de ceros y unos, fundamental para las computadoras modernas. “Lo que explica a su mecenas es que con esa máquina se van a ahorrar mano de obra y van a tener que pagar menos y se cometerán menos errores; lo cual es una narrativa que conocemos hoy en día, que va de la mano de todo lo que nos venden en el campo de la tecnología, en especial de la IA”, indica.
Jaume-Palasí remarca que es “frustrante” ver que en temas de IA se repiten discusiones de sexismo y racismo que ya teníamos “hace más de cien años” y que se “resucitan ideas eugenistas”.
El problema de categorizar lo humano
Las teorías implican y llevan a “una categorización racial del mundo”, que incluyen una idea de la binariedad del género. Aunque abanderan la racionalidad, en contraposición a lo emocional como negativo, sus categorías están “asociadas a determinados valores”: son creadas por personas que no hablan del mundo en sí, sino de cómo ellas ven el mundo. “No hay nadie que esté en una posición fuera del color de su piel, de su posición social, cultural, lingüística, de género. Nadie es capaz de desprenderse de todos “El mundo es heterogéneo y hay gran cantidad de diferencias entre todos los seres humanos y de posiciones y perspectivas; y eso es lo que hace la naturaleza humana rica e interesante”, resalta. Allí entra la estadística como modo de “barnizar estas ideas de un modo científico”.
Las categorías resultan entonces reduccionistas, encasillando a personas y sus circunstancias en cajones, lo cual es preocupante cuando se habla de cuestiones que son “un continuo”. Para el color de piel, por ejemplo, “los sistemas de biometría establecen 10 o 40 opciones cuando en la realidad tenemos miles y miles de diferentes tonos y matices”. A la par de lo que se generaliza de forma artificial, resulta problemático también lo queda fuera, la desviación estadística, lo “anómalo”.
Los riesgos de generar contenido y “predecir” con esta lógica
Los sistemas automatizados se usan para entender y tomar decisiones sobre lo complejo, como algoritmos que analizan datos de grupos sociales y generan contenido, recomiendan acciones o decisiones que luego, advierte, perjudican a las poblaciones ya históricamente discriminadas –ya sea de forma deliberada o automática por la lógica de la tecnología– en ámbitos que van desde la asignación de ayudas, hasta las evaluaciones de solvencia y de las probabilidades de una mujer de sufrir violencia.
“Cuando hablamos de predicciones, lo que estamos hablando es que la máquina asume el status quo de una situación social con los datos ingresados, que ya es de por sí una posición subjetiva del mundo, con un formato que invisibiliza determinados aspectos y visibiliza otros. Va a buscar patrones y el sesgo es que identifica diferentes patrones, con uno más común y otros que divergen. Funciona en sí con un sesgo”, explica. El sistema pretende así analizar el futuro, pero está analizando el pasado, y esto puede tener un profundo impacto social dado, por ejemplo, la sobrerrepresentación de las mujeres romaníes en estadísticas criminales y su infrarrepresentación en las de salud.
Pensar en contexto y crear tecnología en contexto
La materia prima y la mano de obra, los gig workers que limpian y corrigen bases de datos, suele provenir además de los países del sur global o zonas de poblaciones vulnerables, “viendo de nuevo una idea colonialista de explotación de recursos y pensamiento”, indica.
“En Madrid mismo, La Cañada lleva más de cuatro años sin electricidad ni agua, con más de 2.000 niños, 4.000 personas ahí, mientras se montan más y más centros de datos e infraestructura”, señala. Aunque no sólo en España, sino en otros países, “se está priorizando el suministro de agua y de electricidad de los centros de datos para este tipo de tecnología a costa de los suministros a los ciudadanos y las familias”.
De este modo, más allá de evitar riesgos, “lo necesario es pensar en contexto y crear tecnología en contexto”. Esto implica preguntarnos: “¿Hay algo que se puede hacer para solucionar este conflicto, problema o necesidad que gaste menos agua, menos electricidad, que discrimine menos porque categoriza menos, porque sistematiza menos, sino que mira más en contexto?”. Veremos, señala, que hay otras opciones o soluciones alternativas.
“Como regla de tres, si me preguntan si necesitamos la IA, mi respuesta sería no. Habrá un par de excepciones en las que tal vez tiene sentido utilizarla, pero tendrá que ser muy contextual, muy específico y seguramente no será una IA generativa y no será una tecnología que necesita millones de datos y que se puede generalizar, sino que será algo regional”, indica.
