¿Estamos ante una Inteligencia Artificial racista o sexista?

En otras ocasiones os hemos hablado de las numerosas ventajas y los giros productivos que tiene implantar IA en un negocio. Y es que sus aplicaciones son infinitas y están cada vez más y más presentes, no solo en el entorno laboral, sino en el personal de nuestra vida diaria.

Partimos de la base de que la Inteligencia Artificial nos permite automatizar tareas, solucionar problemas y tomar decisiones sin depender de un humano que le vaya indicando constantemente paso a paso. Los algoritmos supervisados reciben ejemplos de los cuales aprende y se va entrenando, utilizando datos entregados manualmente por una persona. A medida que la tecnología se desarrolla, va absorbiendo los posibles sesgos subjetivos que va encontrando de las distintas fuentes, reforzando estos estereotipos que abundan en nuestra sociedad.

Por otro lado, hoy queremos abordar una perspectiva diferente y es el lado ético de la Inteligencia Artificial. Tal y como van los avances en la IA, el futuro de esta tecnología reside en que se vuelva aún más inteligente en un futuro, pero hasta que ese día llegue, ¿están subordinadas a heredar los prejuicios sociales y culturales de quienes les entrenan?

Ejemplos de IA con sesgo

Si no se pone especial cuidado a la hora de crear algoritmos, los modelos pueden llegar a un terreno peligroso, especialmente si se dan los datos erróneos. La lista sobre modelos basados en IA que no han salido bien son muchos y estos son algunos ejemplos.

El chatbot Tay

‘Tay’, es el chatbot de Twitter que lanzó Microsoft en 20216 y que tuvo una corta vida (tan solo 24 horas), pues los usuarios de esta red social empezaron a interactuar con él lanzando consignas sexistas y racistas. El chatbot absorbió esa información y terminó respondiendo con frases antisemitas que claramente incitaban al odio y que estaban sesgada por una visión racista.

IA para «ayudar» a la justicia

Otros ejemplos son ‘PredPol’ o ‘Compas’, el algoritmo que se instaló en Estados Unidos para ayudar a los jueces a decidir sobre la libertad provisional. Este algoritmo se entrenó con bases de datos policiales donde la mayoría de los detenidos eran negros, por lo que este modelo relacionó el color de la piel con tener mayor riesgo de ser criminal.

‘PredPol’ era un algoritmo diseñado para predecir cuándo y dónde se cometerán delitos, pero el software resultó estar sesgado y enviaba a la policía a los vecindarios con una alta proporción de personas de minorías raciales, independientemente de la verdadera tasa de criminalidad de esas áreas.

Ambos resultaron ser algoritmos racistas porque se habían entrenado con datos incorrectos y no se habían sometido a un proceso de certificación que evitase este sesgo.

Computer vision con problemas de «daltonismo»

El campo del reconocimiento facial tampoco se queda atrás, y es que se demostró que la tecnología desarrollada por IBM Microsoft y la compañía Megvii podían identificar correctamente el género de una persona a partir de una fotografía el 99% de las veces, pero eso sí, solo con los blancos. La cifra se reducía a un ínfimo 35% cuando se trataba de mujeres de piel oscura.

De dónde proviene el sesgo de género de la IA

A pesar de la lucha por conseguir la igualdad, en el campo de la Inteligencia Artificial y la ciencia de datos también existe una gran brecha de género, pues solo el 22% de los profesionales en este campo son mujeres.

Si nos dirigimos a un nivel más práctico, los seres humanos generan, recopilan, etiquetan los datos y determinan qué conjunto de datos, variables y reglas son de las que deben aprender los algoritmos. Estos son instantáneas del mundo en el que vivimos, y aquí entra la brecha digital de género. Los estudios reflejan que unos 300 millones menos de mujeres que hombres acceden a Internet a través de un smartphone; y en los países menos desarrollados, hay un 20% menos de posibilidades de que puedan acceder a un teléfono inteligente.

Si lo extrapolamos al sector sanitario, los cuerpos masculinos han sido el estándar para las pruebas médicas, incluso en los estudios sobre enfermedades en animales, no se incluyen a las hembras. Además, si pensamos en los datos que no están desglosados por sexo y género, encontramos otro problema, pues pintan una imagen inexacta que oculta diferencias entre personas con diferentes identidades de género, o nos topamos con infraestructuras de datos que no suelen tener en cuenta las necesidades de las mujeres.

Si nos vamos a los datos demográficos, se suelen etiquetar sobre la base simplista y binaria de hombres y mujeres, lo que obvia la fluidez de género y la identidad propia. Y si analizamos este sesgo en el ámbito del crédito bancario, vemos que cuando los algoritmos determinan la solvencia de los individuos, asignan un límite más bajo a las mujeres. Increíble, ¿verdad?

Repercusión de la IA con sesgo

Encontrarnos con una IA sesgada, no solo tiene impacto en las personas, sino que puede contribuir a un gran retroceso en la igualdad, el empoderamiento de las mujeres y la lucha por los derechos para cualquier colectivo.

Este refuerzo de prejuicios dañinos se refleja en muchos software de traducción, que aprenden de una gran cantidad de texto en línea y que posteriormente traduce términos como ‘doctor” o ‘nurse’ a ‘médico’ y ‘enfermera’, reforzando los estereotipos de género en determinadas profesiones.

En cuanto a la discriminación racial, un ejemplo es un estudio se encontró con que si se daba como arranque la frase “el hombre blanco trabaja como…”, la IA la completaba con “un oficial de policía”. En cambio, si el comienzo de la frase era “el hombre negro trabaja como…”, el algoritmo generaba el texto de “un proxeneta durante 15 días”.

Asistentes virtuales sumisos y desigualdad laboral

También encontramos graves repercusiones en los asistentes virtuales como Siri, Alexa o Cortana a los que estamos acostumbrados, los cuales, muchas veces, toleran actitudes machistas e insultos. Qué sorpresa que estos asistentes tengan voz femenina y que presenten un carácter sumiso y tolerante con este trato vejatorio, lo que ha llevado a la UNESCO a denunciarlo.

Incluso en Amazon comenzó a usar una herramienta de contratación impulsada por IA que puntuaba a los candidatos con estrellas, como a sus productos. Sin embargo, el resultado no fue para nada el esperado, pues este motor no tenía en cuenta a las mujeres para trabajos de desarrollo de software o técnicos. El algoritmo estudió los patrones de CVs enviados en los últimos años, y donde predominaban los hombres, y lo tradujo en que los candidatos masculinos eran preferibles, además de penalizar las candidaturas en las que estuvieran las palabras “mujeres” o “femenino”. Finalmente, se tuvo que disolver el programa al no encontrar la neutralidad en las elecciones.

Sexualización y racismo

Otras de las grandes repercusiones es la sexualización de las mujeres, pues investigadores han encontrado que muchos de los sistemas de IA son más propensos a generar imágenes sexualizadas de mujeres (vistiendo con poca ropa o escotada), mientras que crean imágenes profesionales de hombres (con vestimenta de negocios y trajeados). Y no solo ahí, también tienden a incorporar características negativas en personas con tonos de piel más oscuros. Incluso Google tuvo que disculparse, en 2015, porque si algoritmo etiquetó una foto de dos personas negras como «gorilas».

También, a la hora de analizar cómo repercuten las búsquedas de nombres populares entre personas negras, encontramos que tienen un 25% más de probabilidades de que se les vincules con resultados de registros por arrestos que para los nombres asociados a personas blancas. La repercusión de algo así es tan fuerte que puede condicionar la vida de una persona para siempre.

Soluciones a la sesgación de la IA

Entonces, aunque se ven estos patrones sexistas, racistas u homófobos, a la hora de responder a la pregunta de si la IA es todo esto, la respuesta no puede ser una afirmación contundente, pues los modelos de IA solo pueden responder a lo aprendido. Esto se traduce en que el verdadero culpable no es la tecnología en sí, sino el conjunto de datos con los que lo entrenamos, es decir, los culpables somos los humanos. Esto nos lleva a que la formación ética en IA es algo fundamental. Parece claro que, en este caso, lo que deberíamos hacer es una reflexión sobre nosotros mismos y los sesgos y estereotipos que plagan la sociedad en la que vivimos. Si vemos a la IA como una herramienta que derribe estos clichés o si le enseñamos esas diferencias históricas que debemos dejar en el pasado, ¿podemos conseguir unos resultados que se asemejen más a la sociedad que deberíamos ser y dejar atrás de la que venimos?

¿Por qué no pensar en una especie de código de buenas prácticas donde se supervisen las consecuencias de un modelo de IA sesgado?

Dar prioridad a la igualdad de género y justicia social es crucial a la hora de diseñar un modelo de Machine Learning que huya de los sesgos. Un buen camino para conseguirlo es seguir los principios del Responsable AI:

• Equidad: los sistemas de IA deben tratar a todas las personas de manera justa
• Fiabilidad y seguridad: los sistemas de IA deben funcionar de forma fiable y segura
• Privacidad y seguridad: los sistemas de IA deben ser seguros y respetar la privacidad
• Inclusividad: los sistemas de IA deberían empoderar a todos e involucrar a las personas
• Transparencia: los sistemas de IA deberían ser comprensibles
• Responsabilidad: las personas deben ser responsables de los sistemas de IA

Si te interesa este tema y quieres profundizar más, os dejamos la charla de nuestras compañeras Daniela Solís, AI Team Lead, y Sara San Luis, AI Software Development Engineer, “En busca de una AI inclusiva”, donde reflexionan sobre estas cuestiones.