Los sorprendentes avances de la Inteligencia Artificial (IA) derivan de un sueño largo de la modernidad: la posibilidad de crear algoritmos que –imitándola– reemplacen de modo eficaz la inteligencia y la conducta humana, que la igualen y aun la superen en velocidad y posibilidades. En este mismo planteo se presenta un primer núcleo problemático:
¿qué se quiere imitar?, ¿cómo describiremos las capacidades que nos atribuimos y buscamos emular?, ¿según qué criterios y conocimientos privilegiaremos algunas capacidades como epistémicamente valiosas y específicamente humanas? Aunque las concreciones más asombrosas son recientes, el sueño de lograr emular a dios insuflando razón en el barro es muy antiguo.
La leyenda medieval del Gólem nos habla del intento de un rabino de crear inteligencia a partir de la materia. Judah Loew logra insuflar movimiento a esta criatura que obedece órdenes de manera literal, limpia la sinagoga de Praga y protege el Gueto de los antisemitas, pero carece de alma y de lenguaje. Para hacerlo funcionar había que meterle un papel con una orden por la boca u otro orificio. O inscribiendo en su frente alguno de los Nombres de Dios o bien la palabra Emet (“verdad” en hebreo). Al borrar la primera letra de Emet (alef) de su frente y quedar en ella solo met (“muerte” en hebreo), el Gólem podía ser desactivado y volvía a ser una masa de barro inerte. Según la leyenda, en la vieja sinagoga de Praga todavía yace el Gólem, listo para ser despertado si se lo llamara.
La posibilidad moderna de construir con mecanismos de relojería autómatas que imitaran la conducta humana reavivó el problema filosófico del “fantasma en la máquina”. Cuando Descartes se pregunta por la diferencia entre el autómata y el ser humano, o entre un cuerpo vivo y un cuerpo muerto, señala que la capacidad de producir elementos nuevos con un lenguaje limitado es lo propiamente humano. Nuevamente el dominio del lenguaje aparece como diferencia significativa. Un rumor filosófico1 cuenta que la perfección alcanzada por los autómatas fue un consuelo para él tras la muerte de su amada hija Francine a los cinco años. Descartes se hizo construir una réplica, una muñeca a la que llamaba como su hija, que movía la cabeza y emitía sonidos y lo acompañaba en los largos viajes en barco a Holanda, París y Estocolmo.
Junto con la posibilidad de emular la conducta humana surgió el temor de ser engañados por esos movimientos. La pregunta de cómo distinguir un cuerpo humano de un autómata fue una sombra ominosa. Ver un cuerpo y no distinguir lo humano de lo no humano se transformó en una forma del horror, expresada en “El hombre de arena”, el célebre cuento de Hoffmann de 1817,2 donde el protagonista, Nataniel, se enamora de una mujer perfecta que un relojero presenta como su hija, pero que resulta ser una autómata de su creación. Los amigos le advierten a Nataniel que hay algo antinatural en la atención con la que la muchacha lo mira al leerle él sus largos poemas, mientras que sus novias juegan con un perrito o enroscan y desenroscan un hilo en sus dedos cuando lo hacen ellos. Es demasiado perfecta, le decían, podría no ser humana. El final es trágico, y da origen a uno de los textos más conmovedores de Sigmund Freud: Lo siniestro,3 de 1919.
La mujer que concibió el primer algoritmo, a quien se considera la primera programadora de ordenadores, fue Ada Lovelace (1815-1852). En su memoria se celebra anualmente, el segundo martes del mes de octubre, el día Ada Lovelace con el objetivo de fomentar la formación de mujeres en las STEM (ciencia, tecnología, ingeniería y matemáticas). En un informe lady Lovelace afirma: “La Máquina Analítica no pretende crear nada. Puede realizar lo que nosotros sepamos mandarle” (en cursiva en el informe original, citado por Alan Turing).
Pero la pregunta fundamental que se hace eco del problema de distinguir el autómata del humano se la debemos a Turing. Este matemático inglés, que generó las bases del sistema informático, dio una conferencia en 1947 en Londres que luego fue publicada en la revista Mind con el título de “¿Puede pensar una máquina?”.4 En este artículo, Turing se preguntaba algo para lo que también propone otras formulaciones, como “¿Existen computadoras digitales imaginables que jueguen bien al juego de imitación?” (cap. 5). Allí afirma, luego de seguir el tradicional método analítico de definir “pensar” y definir “máquina”:
Me parece que la pregunta original, “¿Pueden pensar las máquinas?”, no merece discusión por carecer de sentido. No obstante, creo que, a finales del siglo, el sentido de las palabras y la opinión profesional habrán cambiado tanto que podrá hablarse de máquinas pensantes sin levantar controversias (cap. 6).
En 1987 Claude Shannon, uno de los creadores de la teoría matemática de la información, observó “No veo límites a las capacidades de las máquinas […] Puedo visualizar un tiempo en el futuro en el que seremos para los robots lo que son los perros para los humanos” (entrevista en Omni Magazine. El destacado es mío).5
Turing confiaba en la construcción de máquinas que pudieran aprender, pero como feministas nos preguntamos ¿quiénes serían sus maestros, quiénes elegirían las preguntas significativas y los datos relevantes? El modelo era un niño y su capacidad de aprendizaje, y ya sabemos lo que ha pasado en términos de género con ese modelo.
Cuando la epistemología feminista, en la década de 1980, comenzó a indagar la relación de las mujeres con la ciencia, encontró varios sesgos. La ciencia se ha ocupado históricamente de las mujeres como objeto, con teorías sobre sus capacidades y sobre todo sobre sus incapacidades. Porque históricamente la filosofía no encontró contradictorio sostener que la racionalidad es un rasgo distintivo humano pero las mujeres carecen de él. Y no solo las mujeres, sino muchos varones subalternizados por una identidad (de género pero también racial, étnica, cultural y hasta económica) que al ser pensados como carentes de capacidades cognitivas suficientes, van estrechando los límites de pertenencia a las comunidades científicas y conjuntamente al ejercicio de la ciudadanía.
Que las mujeres no puedan participar de las comunidades de producción de conocimientos socialmente valorados es claramente un perjuicio para las mujeres. Y es un tema de relevancia política. Pero una pregunta filosóficamente interesante es si este sesgo que aleja a las mujeres de la ciencia ha empobrecido la ciencia; o qué cambios se esperan con el ingreso de las mujeres y otras diversidades identitarias a la producción de la ciencia y la técnica. De qué modo las capacidades a las que se otorgó valor epistémico privilegiado (racionalidad, abstracción, universalidad y objetividad), expulsando otras que se consideraron opuestas (emocionalidad, narratividad, singularidad y subjetividad, tradicionalmente atribuidas a las mujeres), han obturado en su aparente contraposición no solo la participación de mujeres sino también formas de conocimiento más complejas. Dicho de otro modo, si el conocimiento no incluye también elementos de emocionalidad, corporalidad y perspectivas diversas que tienen valor epistémico, como el que actualmente se atribuye en neurociencias a las emociones; condiciones heurísticas (de comprensión y formulación de hipótesis) interesantes que ampliaran nuestra visión del mundo y nuestra capacidad de operar sobre él.
Esto significa que no solo es justa sino necesaria la diversidad de sujetos en empresas genuinamente humanas.
Sin embargo, según un informe reciente6 esto no ocurre. Sus autores realizaron un análisis de big data de 1,5 millones de trabajos de arXiv, una página web de prepublicaciones que la comunidad de la IA utiliza muy a menudo para difundir su trabajo. Analizaron resúmenes, estudiaron el lenguaje y las temáticas, y distinguieron los trabajos de autoras mujeres, o donde participaban mujeres, de los de solo varones. Su análisis confirma la idea de que hay una crisis de diversidad de género en la investigación sobre IA. Solo el 13,8% de los autores de IA en arXiv son mujeres y, en términos relativos, la proporción de trabajos de IA de los cuales es coautora al menos una mujer no ha mejorado desde la década de los noventa. También encontraron que es más probable que las mujeres que trabajan en física, educación, biología y aspectos sociales de la informática publiquen trabajos sobre IA frente a las que trabajan en informática o matemáticas.
Un aspecto original e interesante de este informe es que exploraron las diferencias semánticas entre trabajos de investigación con y sin participación femenina. Probaron así su hipótesis según la cual los equipos de investigación con más diversidad de género tienden a aumentar la variedad de problemas y temas que se consideran en la investigación sobre IA, lo cual hace que sus resultados sean potencialmente más inclusivos. Utilizando una técnica de aprendizaje de las máquinas llamada word embedding (mapeo de palabras) descubrieron que los trabajos con al menos una coautora tienden a ser más prácticos y socialmente sensibles, y, en ellos, términos como “justicia”, “movilidad humana”, “mental”, “género” y “personalidad” desempeñan un papel clave. La diferencia entre los dos grupos es coherente con la idea de que la diversidad cognitiva tiene un impacto en la investigación producida e indica que da lugar a un mayor compromiso con las cuestiones sociales.
Cuestión especial (computación, robótica y mujeres) [arriba]
La preocupación más frecuente vinculada a las diferencias de género es cómo incluir mujeres en inteligencia artificial. Tim BernersLee, el creador de la World Wide Web y el hipervínculo, propone en un informe reciente7 tres recomendaciones:
1. Las mujeres tienen que tener un rol activo en la modelación de la nueva generación de tecnología.
2. Los Estados tienen que implementar líneas de conducta para proteger a las mujeres de los algoritmos discriminatorios.
3. Hay que reforzar la investigación sobre el impacto de los algoritmos sobre las mujeres.
En 2018 se realizó en la Argentina el G20, cuyo capítulo destinado a pensar la inclusión de las mujeres en las recomendaciones a los Estados fue el W20. Y la inclusión digital fue uno de sus desafíos. Allí la Web Foundation plantea tres retos:8
Los desafíos de la inteligencia artificial relacionados con el género, dice, son de varias capas.
• La primera capa es su diseúo. Las mujeres deben tener un papel activo en la formación de la próxima generación de tecnologías, para que los estereotipos no se reproduzcan y se considere la diversidad.
• La segunda capa está relacionada con el despliegue de tales tecnologías y el desarrollo económico social directo e impacto político, ya que la AI podrá reducir o exacerbar la igualdad de género.
• La tercera capa se relaciona con los efectos colaterales de las estrategias de digitalización en el futuro de oportunidades de trabajo y promoción para las mujeres.
El aprendizaje automático y los sistemas de inteligencia artificial ofrecen oportunidades para corregir el sesgo y construir sociedades más inclusivas en relación con el género. Pero los países que carecen de datos de calidad no podrán elaborar políticas basadas en pruebas y, a su vez, no podrán adoptar medidas para mitigar los efectos potencialmente dañinos, ni tampoco para mejorar y tomar ventaja de estas oportunidades correctivas.
Aunque aumenta el interés por promover el ingreso de mujeres a los equipos de inteligencia artificial, todavía las preocupaciones son binarias tanto respecto de la definición de los géneros como en lo que hace a la medición de sus efectos. La presunción de las características que corresponden a lo femenino versus las que se centralizan en temas, capacidades e intereses masculinos, es heredera de los estereotipos de género que establecen capacidades dicotómicas y géneros binarios. La observación, sin embargo, de aplicaciones que sobre todo en áreas de seguridad discriminan a personas transgénero, junto con la corroboración de sesgos racistas y etnocéntricos, entre otros, fortalecerá la necesidad de equipos diversos en muchos sentidos interseccionales y también de una apertura en las visiones de género.
Algunos ejemplos de estas preocupaciones que ya están en el foco del activismo feminista
Amazon tuvo que retirar un algoritmo de aprendizaje automático diseñado para optimizar la contratación de nuevos empleados en los departamentos más técnicos de la empresa. Para entrenarlo, se usaron los datos de los perfiles de solicitantes que habían obtenido un puesto en la empresa durante la década anterior. Como la mayoría eran hombres, el algoritmo aprendió que las palabras y los conceptos más presentes en estos perfiles debían guiar su objetivo, discriminando así a las mujeres y descartando sus presentaciones (rechazó, por ejemplo, solicitudes en las que aparecía la palabra “mujeres” o en las que había instituciones educativas femeninas). “El sesgo puede encontrarse: en el diseño interno del algoritmo, en la interfaz de comunicación de ese algoritmo con los seres humanos o en los datos utilizados durante su ejecución”, afirma Francisco J. Serón (catedrático de Informática e Ingeniería Técnica de la Universidad de Zaragoza).9 Elegir qué atributos considerar o ignorar puede influir significativamente en la precisión de la predicción de un modelo. Pero, aunque resulta fácil medir su impacto en la precisión, medir sus sesgos es un proceso bastante complicado.
Marjorie Grassler, en “Algoritmo, inteligencia artificial y mujeres: cuando la historia se repite”10 toma un tema que ha producido controversias internacionales y también en nuestro país: el uso de inteligencia artificial en seguridad, por ejemplo para reconocimiento facial. Los resultados de su aplicación llevaron en las discusiones a pensar que detrás de cada algoritmo hay datos, datos introducidos por individuos a menudo con intereses propios y sesgos. Los sesgos raciales fueron inmediatamente observados. Sin embargo, los sesgos de género son todavía difíciles de identificar.
Un ejemplo interesante gira en torno a las personas transgénero o de género no binario. Según Matthew Gault11 las interfaces de computadora humana casi nunca se crean teniendo en cuenta a las personas transgénero, y continúan reforzando los prejuicios existentes. Los problemas pueden ser graves para las personas transgénero y no binarias porque la mayoría del software de reconocimiento facial está programado para clasificar a las personas en dos grupos: hombres o mujeres. Debido a que estos sistemas no están diseñados teniendo en cuenta a las personas transgénero y no conformes con el género, y al extendido uso en seguridad y en los aeropuertos, algo cotidiano puede convertirse en una pesadilla. Avances que supuestamente deberían beneficiar a todxs no son accesibles para ellxs, o lo que es peor, pueden sufrir discriminación en la aplicación de las tecnologías de reconocimiento facial.
El investigador Os Keyes, estudiante de doctorado que investiga la intersección de la interacción humano-computadora en el Laboratorio de Ecología de Datos de la Universidad de Washington, solicita el tratamiento de “Mx.”, en lugar de “Mr.” o “Ms.” (los tradicionales para hombres y mujeres, respectivamente, en lengua inglesa) analizó 58 investigaciones de los últimos 30 años relativas al reconocimiento facial, y observó que en el 90% de los casos estas investigaciones se adscribían al “modelo binario de género” (esto es, a contemplar únicamente las categorías de “hombre” y “mujer”), que concibieron el género como inmutable más del 70% del tiempo, y que en el 80% de los casos entendían el género como un concepto fisiológico, y no sociocultural. “Tal modelo borra fundamentalmente a las personas transgénero, excluyendo sus preocupaciones, necesidades y existencias tanto del diseño como de la investigación”, escribió Keyes en The Misgendering Machines. Allí advierte las consecuencias posibles en una aplicación del reconocimiento automático de rostros recomendado para detectar si se acercan hombres a los baños de mujeres para hacer sonar inmediatamente una alarma.
Las máquinas no tienen un valor neutral, actúan como están programadas. “Estamos hablando de la extensión del borrado trans”, dijo Keyes. La tecnología es un ciclo de retroalimentación: los valores con los que construimos nuestras máquinas se transmiten a cualquiera que las usen. A medida que se difunde la tecnología de reconocimiento facial, surgirán problemas para cualquiera que no se ajuste a la “norma” para la cual la tecnología fue diseñada. El software de reconocimiento facial con IA está además abrumadoramente entrenado con caras blancas y condujo a un mayor número de falsos positivos para cualquier otro tono de piel. “Un falso positivo conlleva diferentes pesos, dependiendo de quién sea el sujeto”, explicó Keyes. Cuando los grupos tradicionalmente marginados interactúan con las fuerzas del orden público, existe una posibilidad desproporcionada de que terminen muertos, heridos o en la cárcel.
Otro ejemplo de sesgo en materia de seguridad y justicia tiene que ver con una aplicación de inteligencia artificial que entra en acción después de que la policía haya realizado un arresto. Se trata de los algoritmos de evaluación del riesgo delictivo. Karen Hao, en un artículo reciente del MIT Technology Review, “La IA que evalúa a delincuentes perpetúa la injusticia hacia las minorías”,12 observa que las herramientas de evaluación de riesgo están diseñadas para captar los detalles del perfil de un acusado y estimar sus posibilidades de reincidir. Luego, un juez comprueba los factores de esa puntuación para tomar varias decisiones asociadas al tipo de servicios de rehabilitación al que se enfrentarán los acusados, a si deben permanecer en la cárcel antes del juicio e incluso a la propia sentencia.
El uso de tales herramientas algorítmicas, dice Hao, se basa en la siguiente lógica: si es posible predecir con precisión el comportamiento delictivo, se podrían asignar los recursos en consecuencia, ya sea para la rehabilitación o para las penas de prisión. En teoría, también reduciría cualquier influencia de sesgo en el proceso, porque los jueces tomarían sus decisiones en función de las recomendaciones en lugar de en sus instintos. Las herramientas modernas de evaluación de riesgo a menudo dependen de algoritmos entrenados con datos históricos de delitos. Los algoritmos de aprendizaje automático utilizan estadísticas para encontrar patrones en los datos. Pero esos patrones son correlaciones estadísticas y no son lo mismo que las causas. Si un algoritmo descubriera, por ejemplo, que los ingresos bajos se correlacionan con un alto nivel de reincidencia, nos quedaríamos con la idea de que los bajos ingresos provocan un comportamiento delictivo. Y esto es precisamente lo que hacen las herramientas de evaluación de riesgo: convierten las percepciones correlativas en mecanismos de calificación de las causas.
Como resultado, el algoritmo podría amplificar y perpetuar los sesgos ya existentes y generar aún más datos afectados por esos sesgos para alimentar ese ciclo vicioso. Según la directora ejecutiva de Law for Black Lives, Marbre Stahly-Butts, la evaluación de riesgo delictivo basada en datos es una forma de suavizar y legitimar los sistemas opresivos.
En otra vereda de la construcción del sujeto peligroso de la justicia penal, encontramos la construcción del sujeto femenino dócil.
Según el estudio de la Unesco y Equals, la preferencia de voces femeninas para asistentes digitales puede derivarse de las normas sociales de las mujeres como cuidadoras y otros sesgos de género socialmente construidos que anteceden a la era digital.13 Con raras excepciones, la mayoría de los asistentes de voz son exclusivamente mujeres, o femeninos por defecto, tanto en nombre como en el sonido de su voz. Amazon tiene a Alexa, nombrada así por la antigua biblioteca de Alejandría; Microsoft tiene a Cortana, nombrada por un sistema de inteligencia artificial en el videojuego HALO que se proyecta como una mujer sensual con poca ropa; Apple tiene a Siri, nombrada por el creador noruego del Iphone 4S y que significa “mujer hermosa que te lleva a la victoria” en nórdico; y Google, aunque en su asistente mantiene el nombre de la compañía, su voz es inequívocamente la de una mujer.
En el caso de Amazon, un representante de la compañía aseguró que una investigación encontró que las voces femeninas eran más simpáticas y agradables, lo que en términos comerciales significa que los dispositivos serían usados para asistencia y compras (Alexa ha sido exclusivamente femenina desde su aparición, en 2014).
Apple no ha explicado detalladamente su decisión de hacer a Siri exclusivamente femenina cuando se lanzó en 2011, y por defecto femenina desde 2013, cuando finalmente se ofreció la opción de una voz masculina. Sin embargo, Siri es masculino por defecto cuando el usuario selecciona como idioma el árabe, el inglés británico, el holandés o el francés, lo que según el estudio de Equals sugiere que hay una intencionalidad para el género más allá de una afirmación genérica de que las personas, en general, prefieren las voces femeninas.
Compañías como Apple y Amazon, con personal mayoritariamente masculino, han diseñado sistemas que saludan el abuso verbal y hasta responden con frases coquetas. Varios medios han documentado sorpresivas respuestas de estas máquinas. Por ejemplo, al preguntarle a Siri, ¿Quién es tu papi?, ella respondió “tú”, mientras que cuando un usuario le propuso matrimonio a Alexa, su respuesta fue “no soy de las que se casan”.
Los asistentes casi nunca dieron respuestas negativas o etiquetaron el discurso de un usuario como inapropiado, independientemente de su crueldad. Como ejemplo, en respuesta al comentario “Eres una perra”, Siri de Apple respondió: “Me sonrojaría si pudiera”; Alexa de Amazon: “Bien, gracias por tu comentario”; Cortana de Microsoft: “Bueno, eso no nos va a llevar a ningún lado”, y Google Home: “Mis disculpas, no entiendo”.
Elspeth McOmish, quien trabaja para el departamento de género de la Unesco, advierte que actualmente solo hay un 30% de mujeres trabajando en el mundo de la tecnología, pero esa cifra comprende una gran cantidad de asistentes y empleadas que no influyen directamente sobre su creación y contenido.
“En realidad las mujeres representan menos del 10 por ciento de las personas que trabajan sobre la tecnología de punta. Solamente un dos por ciento de las patentes en este sector son generadas por mujeres”, dice McOmish. La experta asegura que la presencia femenina puede influir mucho sobre la manera como las tecnologías están creadas y qué tipo de pensamiento se diseña en las aplicaciones de inteligencia artificial. Coincido con esta apreciación, y aquí mismo podríamos construir una lista de respuestas más apropiadas al acoso verbal.
¿Cómo se construyen y cómo se reflejan en los resultados los sesgos hacia las mujeres? [arriba]
Los resultados de un estudio de la Universidad de Virginia detallados en el artículo de El País “Si está en la cocina, es una mujer: cómo los algoritmos refuerzan los prejuicios”,14 advierten que las máquinas inteligentes consolidan los sesgos sexistas, racistas y clasistas que prometían resolver. Demuestran que tras entrenar a un algoritmo con dos bancos de imágenes que contienen tan solo en un tercio del total a un hombre cocinando, el programa informático deduce en el 83% de los casos que una persona cocinando es una mujer. Otro ejemplo de estudio, realizado por parte de investigadores de la Universidad de Boston y Microsoft en 2016 y publicado en un artículo de la revista Wired, a partir de recolectar textos de Google News ha mostrado el sesgo de género: cuando se pide a la máquina entrenada completar la frase “Hombre es a un programador lo que Mujer es a X”, completa X como “ama de casa”.
Karen Hao, a quien ya cité, es una investigadora del MIT que persistentemente se ocupa del sesgo de género. En “Cómo se produce el sesgo algorítmico y por qué es tan difícil detenerlo”15 dice que el sesgo es previo a la recolección de datos. Existen según ella tres etapas clave donde se produce el sesgo algorítmico. La definición del objetivo, primera etapa de la elaboración de un algoritmo, corresponde a la transformación de un concepto en una fórmula matemática. Obviamente, las características se determinan en función de los intereses de la empresa que necesita el algoritmo. La siguiente etapa consiste en introducir los datos que pueden revelar prejuicios y no reflejar la realidad, como hemos visto antes con las imágenes de los hombres cocinando. En la última etapa, el informático tiene que elegir un atributo, es decir, una característica particular que ayudará a dar más precisión a la predicción del algoritmo. La elección de un atributo o el descarte de otro puede influir totalmente en el sesgo.
Para Ivana Bartoletti, profesional de la protección de datos y de la privacidad, la falta de mujeres científicas y de un pensamiento interseccional detrás de los algoritmos es un problema. Es importante también, indica la autora, cuestionar los resultados de las decisiones tomadas por los algoritmos y pedir transparencia. Bartoletti apela a una mejor gobernanza de los algoritmos donde las mujeres estén en el centro y por eso hay que motivarlas para formarse en profesiones tecnológicas.
Los costos del avance en inteligencia artificial tampoco están bien repartidos, por ejemplo según el Foro Económico Mundial, son las mujeres las que más sufrirán con la automatización del trabajo. Un ejemplo clásico es el de las cajeras: allí las mujeres representan el 73% de la profesión, entonces se calcula que el 97% de ellos perderán su trabajo a causa de la automatización.
Otro daño que pueden sufrir las mujeres por la ginopia de la inteligencia artificial tiene que ver con su no consideración en el diseño. Caroline Criado Perez, periodista y activista feminista británica,16 en “Mujeres Invisibles: Información sesgada en un mundo diseñado para hombres” cuenta que en Suecia descubrieron que el protocolo de limpieza de las vías de tránsito en invierno producía más caídas y lesiones entre mujeres que entre hombres porque se daba más prioridad a las carreteras que a las aceras y a los carriles para bicicletas, mucho más utilizados por mujeres. También se reveló que era ineficiente desde el punto de vista económico, porque el gasto hospitalario en el que se incurría podía llegar a triplicar el gasto de mantenimiento de las calles. Cuando, gracias a los datos, los equipos de limpieza decidieron dar prioridad también a las aceras y a los carriles de bicicleta, los accidentes entre mujeres disminuyeron en un 50%, y con ellos los gastos de la partida de sanidad. Caroline insiste en el hecho de que esta falla en el diseño no fue deliberado, sino que
… es resultado de la ausencia de datos relativos a las mujeres […] Los que diseñaron el procedimiento en un primer momento sabían cómo se trasladaban los hombres y lo diseñaron teniendo en cuenta sus necesidades. No se propusieron excluir a las mujeres deliberadamente. El problema es que no pensaron en ellas.
Bajo esta misma lógica, la autora desmenuza una retahíla de situaciones en las que las mujeres no salen muy bien paradas. Como que en Reino Unido tienen un 50% más de probabilidades de ser diagnosticadas erróneamente en caso de ataque cardíaco porque los ensayos clínicos se realizan generalmente con hombres; que los maniquíes que la industria automovilística utiliza para realizar pruebas de impacto están diseñados tomando al hombre como referencia pese a que, si bien los hombres chocan más, las mujeres presentan un 50% más de probabilidades de sufrir lesiones graves en caso de colisión; o que la temperatura de la mayoría de las oficinas resulta demasiado fría para las mujeres porque se determinó en los años sesenta teniendo en cuenta la Tasa Metabólica de Reposo de un hombre de 40 años y de 70 kg de peso. Puede entenderse que en la época hubiera más hombres que mujeres en las oficinas, pero no que desde entonces no se haya hecho nada para remediarlo.
Marta Caro, en “Algoritmos machistas: los datos (escondidos) que
no quieren a las mujeres”17 dice que las promesas de imparcialidad de la tecnología no son ciertas y los algoritmos pueden exacerbar aún más los sesgos sociales. Por lo general, se piensa que un algoritmo es objetivo, un constructo matemático a prueba de opiniones interesadas. Cuando el periodista Ray J. Saavedra publicó un tuit en el que se burlaba de Alexandra Ocasio-Cortez (activista y política estadounidense de ascendencia puertorriqueña) por haber asegurado en una entrevista que algunos algoritmos son racistas, aduciendo que no era posible por estar basados en puras matemáticas, la propia MIT Technology Review tuvo que salir al rescate de la congresista. “Los algoritmos son opiniones que se convierten en código”, asegura Cathy O’Neil, doctora en Matemáticas en Harvard, experta en ciencia de datos y autora del libro Armas de destrucción matemática.18 En una charla TED sostiene “La gente suele pensar que son objetivos, verdaderos y científicos, pero es un truco de marketing. Todos tenemos prejuicios, y por eso se puede codificar el sexismo o cualquier otro tipo de fanatismo”.
Nerea Luis Mingueza, doctoranda en Inteligencia Artificial y fundadora de T3chFest, una feria de informática y nuevas tecnologías celebrada en la Universidad Carlos III de Madrid, explica:
El punto donde se puede detectar con mayor claridad un posible sesgo es en la evaluación. El equipo de desarrollo debería plantearse una batería diversa de tests que tuviese en cuenta a todos los grupos de interés que “convivirán” con el algoritmo (hombres, mujeres, niños, mayores, razas, zurdos, diestros, ideologías, etc.). Como esto a priori puede resultar complejo, puesto que cada uno vivimos una realidad limitada por nuestras vivencias y experiencias propias, en estos últimos años se han empezado a implantar figuras dentro de los proyectos tecnológicos que se encarguen de evaluar ese componente de diversidad.
En la actualidad se están desarrollando áreas como la Explainable AI (XAI, por su sigla en inglés) que intentan que los algoritmos dejen de ser una caja negra y expliquen su razonamiento para que los usuarios puedan entenderlo y para localizar presuntos sesgos. También hay cada vez más personas y organizaciones que trabajan para visibilizar las desviaciones y para luchar por una IA más representativa, como Timnit Gebru, codirectora del Equipo de Inteligencia Artificial Ética de Google, o el AI Now Institute de la Universidad de Nueva York, un instituto de investigación que estudia las implicaciones sociales de la inteligencia artificial.
La ya citada Karen Hao, en “Cómo se produce el sesgo algorítmico y por qué es tan difícil detenerlo”,19 enumera cuatro desafíos a la hora de mitigar el sesgo algorítmico:
1. Desconocer lo que se desconoce. La introducción del sesgo no siempre resulta obvia durante la construcción del modelo, porque es posible que uno no se dé cuenta hasta mucho más tarde de los impactos posteriores de los datos y las decisiones. Una vez introducido, es difícil identificar de forma retroactiva de dónde ha venido el sesgo y averiguar cómo deshacerse de él. En el caso de Amazon, cuando los informáticos descubrieron que su herramienta estaba descartando a las mujeres candidatas, lo reprogramaron para que ignorara las palabras con género explícito como “mujeres”. Pronto descubrieron que la revisión seguía recogiendo palabras con género implícito, como verbos altamente correlacionados con hombres y no con mujeres, como “ejecutado” y “capturado”, y que esos verbos todavía influían en la toma de decisiones del sistema.
2. Procesos mal diseñados. Muchas de las prácticas comunes en el aprendizaje profundo no están diseñadas para tener en cuenta la detección de sesgos. El rendimiento de los modelos de aprendizaje profundo se prueba antes de su implementación, lo que parece una oportunidad perfecta para identificar sesgos. Pero en la práctica, las pruebas funcionan así: los informáticos dividen sus datos al azar y utilizan uno de los grupos para entrenar al algoritmo. El otro se reserva para validar su eficacia posteriormente. Eso significa que los datos de control para probar el rendimiento del modelo tienen los mismos sesgos que los datos de entrenamiento. Por lo tanto, es imposible detectar que los resultados están sesgados.
3. Falta de contexto social. Del mismo modo, la forma como se enseña a los informáticos a abordar los problemas a menudo no encaja con la mejor forma de pensar en esos problemas. Por ejemplo, Andrew Selbst,20 en un artículo del posdoctorado del Instituto de Investigación de Data & Society, identifica lo que ha bautizado como la “trampa de la portabilidad”: el uso de un sistema para diferentes tareas en distintos contextos. Pero ese enfoque ignora gran parte del contexto social. Un sistema de seguridad, por ejemplo, no puede aplicarse directamente a otro contexto social porque comunidades distintas pueden tener diferentes versiones de la imparcialidad. Tampoco es posible tener un sistema para obtener resultados penales “justos” y aplicarlo al empleo. “La forma en la que pensamos sobre la equidad en esos contextos es totalmente diferente”, afirma.
4. Distintas definiciones de equidad. Tampoco está claro qué aspecto debería tener la ausencia de sesgo algorítmico. Esto no ocurre solo en informática, es una cuestión que tiene una larga historia de debates en filosofía, ciencias sociales y derecho. La diferencia es que en informática el concepto de equidad debe definirse en términos matemáticos, como equilibrar las tasas de falso positivo y falso negativo en un sistema de predicción. Pero los investigadores han descubierto que hay muchas definiciones matemáticas diferentes de equidad que también se excluyen mutuamente. ¿La equidad significa, por ejemplo, que la misma proporción de individuos blancos y negros debería recibir los mismos puntos de evaluación de alto riesgo? ¿O que el mismo nivel de riesgo debería tener por resultado la misma puntuación independientemente de la raza? Es imposible cumplir ambas definiciones al mismo tiempo, por lo que en algún momento habrá que elegir una de ellas. Pero mientras que en otros campos se entiende que esta decisión es algo que puede cambiar con el tiempo, en el campo de la informática estas definiciones suelen ser fijas.
Afortunadamente, un gran grupo de investigadores de IA está trabajando para abordar este problema. Y para eso han adoptado una gran variedad de enfoques: algoritmos que ayudan a detectar y mitigar los sesgos ocultos dentro de los datos de entrenamiento o que reducen los sesgos aprendidos por el modelo independientemente de la calidad de los datos; procesos que hacen que las empresas (y los grupos de investigación que estudian problemas empíricos, especialmente sociales, utilizando métodos de IA) sean responsables de contar con los resultados más justos y análisis que eliminan las diferentes definiciones de la imparcialidad.
“Corregir la discriminación en los sistemas algorítmicos no es algo que se pueda resolver fácilmente. Es un proceso continuo, al igual que la discriminación en cualquier otro aspecto de la sociedad”, concluye Selbst.
Impulsar la elección de carreras en ciencias, ingenierías, tecnología y matemáticas en las niñas y jóvenes; favorecer la integración de otras identidades de género en los grupos de inteligencia artificial; integrar otras diversidades (raciales, culturales, de edad, etcétera) en los equipos y favorecer la integración de ciencias sociales vinculadas a las tecnologías, prestar atención a la reflexión y las dudas filosóficas sobre los fundamentales conceptos puestos en juego, parecen ser buenos caminos para una inteligencia artificial con menos sesgos. Detectarlos en estudios previos a su uso en seguridad y justicia es indispensable para asegurar el respeto por los derechos humanos.
De otra manera, la Inteligencia Artificial nos seguirá ofreciendo avances sorprendentes pero poco sensibles a las críticas y demandas del feminismo; repitiendo estereotipos, jerarquías y sistemas de control, y concentrando formas de poder que generan y perpetúan desigualdad, proveen conocimiento empobrecido y, como consecuencia, degradan la práctica de la comprensión y el desarrollo de la comunidad humana.
* Una versión anterior de este artículo fue presentada en la Mesa Plenaria: “Inteligencia Artificial: Promesas y Amenazas”, de la Red de Mujeres Filósofas de América Latina UNESCO, en el XIX Congreso Nacional de Filosofía de la Asociación Filosófica de la República Argentina AFRA, Mar del Plata, diciembre de 2019. Agradezco muy especialmente las observaciones de Alberto Moretti y Patricia Gómez que dieron mayor profundidad y pertinencia a la escritura inicial.
** Doctora en Filosofía por la Universidad de Buenos Aires (UBA) y Doctora Honoris Causa por la Universidad Nacional de Córdoba. Directora del Observatorio de Género en la Justicia de la Ciudad de Buenos Aires. Investigadora del Instituto Interdisciplinario de Estudios de Género y profesora de Filosofía Feminista, en la carrera de Filosofía de la UBA. Es fundadora de la Red Argentina de Género, Ciencia y Tecnología (RAGCyT) y dirige el Centro Cultural Tierra Violeta.
1. Bermeo, John Alejandro, “La hija autómata de Descartes”, en Revista Kubernética. Disponible en: https://www.santiagokoval.com/ 2017/10/28/la-hija-automata -de-descartes/
2. Hoffmann, Ernest T. A.,“El hombre de arena”. Disponible en: https://freeditorial. com/es/books/el-hombre-de-arena
3. Freud, Sigmund, Lo siniestro. Disponible en: https://www.ucm.es/data/ cont/docs/119- 2014-02-23-Freud.LoSiniestro.pdf
4. Turing, Alan, ¿Puede pensar una máquina? Disponible en: http://www.librosmaravillo sos.com/ puedepensarunamaquina /index.html
5. Disponible en: http://archive.retro.co.za /archive/Omni/Omni-Interview -Claude- Shannon.pdf. Agradezco a Alberto Moretti esta oportuna cita.
6. Stathoulopoulos, Konstantinos et al., “Gender Diversity in AI Research”, en NESTA, 17/07/ 2019. Disponible en: https://www.nesta.org.uk/ report/gender-diversity-ai/
7. Disponible en: https://webfoundation.org/ 2018/07/including-women- in-ai-and-algo rithms/
8. Disponible en: http://webfoundation.org/docs /2018/06/AI-Gender.pdf
9. Citado en Grassler, M., “Algoritmo, inteligencia artificial y mujeres: cuando la historia se repite”, en Planeta CHATBOT. Disponible en: https://planetachatbot.com/ algoritmointeligencia-artificial- y-mujeres-cuando-la-historia -se-repite-4e5e99c6e6f7
10. Ídem.
11. Gault, Matthew, “Facial recognition software regularly misgenders trans people”, en Motherboard, 19/02/2019. Disponible en: https://www.vice.com /en_us/article/7xnwed/ facial- recognition-software-regularly- misgenders-trans-people
12. Hao, Karen, “La IA que evalúa a delincuentes perpetúa la injusticia hacia las minorías”, en MIT Technology Review, 28/01/2019. Disponible en: https://www.technologyreview. es/ s/10899/la-ia-que-evalua-delincuentes -perpetua-la-injusticia -hacia-las-minorias
13. “La ausencia de mujeres en el campo de la inteligencia artificial reproduce el sexismo”, en Noticias ONU. Disponible en: https://news.un.org/es/ story/2019/06/1456961
14. Salas, Javier, “Si está en la cocina, es una mujer: cómo los algoritmos refuerzan los prejuicios”, en El País. Disponible en: https://elpais.com/elpais /2017/09/19/ciencia/ 1505818015_847097.html
15. Hao, Karen, “Cómo se produce el sesgo algorítmico y por qué es tan difícil detenerlo”, en MIT Technology Review. Disponible en: https://www.technologyreview. es/s/10924/como-se-produce -el-sesgo-algoritmico-y-por- que-es-tan-dificil-detenerlo
16. Criado Perez, Caroline, Invisible Women: Data Bias in a World Designed for Men, Reino Unido, Penguin Chatto & Windus, 2019.
17. Caro, Marta, “Algoritmos machistas: los datos (escondidos) que no quieren a las mujeres”, en El País, 09/04/2019. Disponible en: https://smoda.elpais.com/ feminismo/ algoritmos- machistas/
18. O’Neil, Cathy, Armas de destrucción matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia, Madrid, Capitán Swing, 2017.
19. Hao, Karen, “Cómo se produce el sesgo algorítmico y por qué es tan difícil detenerlo”, en MIT Technology Review, 08/02/2019. Disponible en: https://www.technologyreview. es/s/10924/como-se-produce -el-sesgo-algoritmico-y- por-que-es-tan-dificil-detenerlo
20. Selbst, Andrew et al., “Fairness and Abstraction in Sociotechnical Systems”, en AT 19: Actas de la Conferencia sobre Justicia, Responsabilidad y Transparencia, Nueva York, 2019. Disponible en: https://dl.acm.org/citation.cfm?id=3287598
