Considerar la diversidad en el desarrollo de tecnologías es aún una asignatura pendiente que pone en entredicho la ética de grandes compañías como Google, Amazon, Microsoft o IBM. Son estas empresas las actuales responsables de definir buena parte de los parámetros globales de la inteligencia artificial, cuyas implicaciones nos afectan en cada ámbito de decisión. Lorena Fernández, directora de identidad digital de la Universidad de Deusto, forma parte del grupo experto de la Comisión Europea ‘Gendered Innovations’. En un informe reciente, el grupo, bajo la tutela de Londa Schiebinger, de la Universidad de Stanford, expone una serie de casos de estudio y métodos para acabar con los sesgos en I+D.
“Uno de los objetivos del trabajo era provocar a la ciudadanía, hacer ver a la gente cómo de relevante es no incorporar la perspectiva de género o el análisis interseccional a la investigación y el desarrollo”, explica Fernández. El informe incluye además posibles acciones que contribuyan a este mayor equilibrio a través de condiciones para acceder a las ayudas que concede el programa Horizonte Europa.
“Se está revisando el método de evaluación de proyectos actual para incorporar nuevas normativas. Otra medida adoptada al margen del informe ya estipula que las organizaciones que quieran beneficiarse de las ayudas del programa tienen que contar con un plan de igualdad. Se están dando pasos importantes también en lo referente a medidas vinculadas directamente a las personas que diseñan, por ejemplo, los algoritmos de machine learning”.
Europa, camino de la excepción
¿Puede convertirse la UE en un oasis de ética tecnológica en comparación con otras potencias? Lorena Fernández considera que, pese al trecho por recorrer, en Europa se están sentando unas bases que invitan al optimismo. “En China el sistema es totalitario y en Estados Unidos, el capitalismo extremo lleva a las empresas a la autorregulación”, apunta la investigadora, para quien la tecnología de reconocimiento facial es paradigmática de estas malas praxis. (Leer artículo de Lorena Fernández en The Conversation).
El estudio Gender Shades midió la precisión de la clasificación comercial de sistemas de reconocimiento facial de Microsoft, IBM, Face ++, Amazon Rekognition y Kairos. El desajuste era especialmente acusado en las plataformas de Amazon y Kairos, con unas brechas de precisión del 31 % y 22,5 %, respectivamente, entre hombres de piel más clara y mujeres de piel más oscura. “IBM ha paralizado el desarrollo de esta tecnología. Por su parte, Amazon, en lugar de asumir errores, inició una beligerante campaña para desprestigiar la investigación y, fundamentalmente, a una de sus responsables, Joy Boulamwini”.
“La posición de Amazon debería preocuparnos. Solo han hecho una pausa en sus planes. Siguen con la idea de vender su tecnología de reconocimiento facial a policía y ejércitos. Se han especializado en vigilancia y seguridad, y tal y como han diseñado los algoritmos, es algo muy peligroso”, añade Fernández.
Para comprender la actual legitimidad de estos movimientos hay que ir a la raíz del problema. “A día de hoy, las organizaciones están en ‘modo reactivo’. Solo mitigan los sesgos a posteriori, una vez localizado el fallo”, afirma Lorena Fernández. “La razón es la ausencia de diversidad en los equipos, en los modelos e incluso entre las propias compañías de la inteligencia artificial. Por mucho que crezca el número de startups del sector, los grandes proyectos están en manos de los gigantes de siempre, expertos en maquillar la parte ética, que solo les interesa mientras no afecte en lo más mínimo a sus intereses económicos”.
La cara oculta de Silicon Valley
Que Silicon Valley sigue siendo un territorio hostil -“en todos los sentidos”- donde impera la ley brogrammer, lo demuestran, según Lorena Fernández, decisiones como el despido por parte de Google de Timnit Gebru, una de sus líderes de ética (y otra de las impulsoras del estudio de Gender Shades). “Es peligroso dejar las llaves del gallinero al zorro”, apunta la directora de identidad digital de la Universidad de Deusto.
Antes de su salida, Gebru tenía prevista la publicación de un paper donde se mostraba el impacto de los sesgos imperantes en inteligencia artificial y el elevado consumo energético y la huella medioambiental de las tecnológicas en la puesta en marcha de estos sistemas. “La decisión de Google es sorprendente y desproporcionada. Ya sabían que Gebru es una batalladora nata. No esperaban tantas reacciones en forma de manifiesto rechazando el despido, tanto dentro como fuera de la organización. Y eso que el paper no incluía ningún aspecto llamativo que no se haya indicado anteriormente”.
Inteligencia artificial y una sociedad más dividida
Sin diversidad en los equipos, la tecnología pierde puntos de vista, queda huérfana de la experiencia vital de muchas personas. “Los algoritmos aprenden de muchos datos, pero hoy la tecnología solo tiene como destino las mayorías poderosas”. En opinión de Fernández, nos enfrentamos a una nueva división de la ciudadanía motivada por la digitalización. “Sucederá en el ámbito de la privacidad y en el terreno algorítmico. A la hora de pedir un crédito, las personas con recursos serán recibidas por el director o directora del banco. Para los demás, la concesión del préstamo dependerá de la decisión de un sistema de inteligencia artificial”.
La directora de identidad digital de la Universidad de Deusto vuelve a romper una lanza en favor de la estrategia de la UE. “Europa ha apostado por un desarrollo tecnológico más justo y ético. Es un modelo que probablemente no viaje al ritmo de la inercia del progreso. Como ciudadanía nos conviene esta mayor lentitud”.
En cuanto a la posibilidad de crear un órgano supervisor independiente que marque las directrices de obligado cumplimiento en inteligencia artificial, Lorena Fernández acude al ejemplo de algunos países, como Nueva Zelanda. “Al igual que otros países, está tomando decisiones muy interesantes a nivel administración pública y legislación. Las organizaciones que desarrollan tecnología para el Gobierno tienen que ser transparentes respecto a los criterios con los que trabajan. También han de informar acerca de los datos en base a los que son entrenados los algoritmos. Lo que está claro es que hay que establecer determinados parámetros. Los sistemas de inteligencia artificial tienen que dejar de ser cajas negras cuyo contenido solo unos pocos conocen. Si no, son muchos los riesgos que corremos.”, concluye.
