Identifier
Event
Language
Presentation type
Topic it belongs to
Subtopic it belongs to
Title of the presentation (use both uppercase and lowercase letters)
Presentation abstract
Long abstract of your presentation
Guion de género en IA
Los ingenieros, y otros actores involucrados en el
proceso de diseño, configuran al usuario y el contexto de uso como parte
integrante de todo el proceso de desarrollo tecnológico, para permitir y
restringir el desarrollo de la tecnología. Algunos autores se refieren a esto
como plan de uso (Houkes y Vermaas, 2010). Esto es
especialmente útil para entender el desarrollo de los sistemas de IA y cómo
estos pueden manifestar sesgos de género.
Ellen van Oost define guion
de género como aquellas representaciones que los diseñadores de un artefacto
tienen o construyen de las relaciones de género y las identidades de género,
representaciones que luego inscriben en la materialidad de ese artefacto (Van
Oost, 2003: 195). Los artefactos en sí mismos a menudo incorporan
configuraciones de usuarios establecidas mediante planes de uso en el contexto
de ingenio (Houkes y Vermaas, 2014), en los que se incorporan guiones de
género, es decir, expectativas culturales sobre cómo deben comportarse los
hombres y las mujeres con respecto a los artefactos y la tecnología en general.
En palabras de van Oost:
ciertos artefactos técnicos
se producen explícitamente para mujeres u hombres en el contexto de ciertos
estereotipos específicos de género, mientras que otros artefactos solo reflejan
implícitamente el género en el proceso de producción, por ejemplo, por
diseñadores masculinos que se usan a sí mismos y a sus experiencias como
categorías de referencia en el proceso de desarrollo (Van Oost, 2003: 195).
Los guiones de género a
menudo dictan cómo deben comportarse los hombres y las mujeres en situaciones
tecnológicas específicas, influyendo en la forma en que usan y
experimentan artefactos y sistemas tecnológicos. Esto es más obvio cuando
observamos los diferentes tipos de tecnología que están disponibles para
hombres y mujeres. Los estereotipos y las ideologías detrás de los guiones de
género pueden extenderse a los sistemas de IA y tener consecuencias perniciosas
en la medida en que pueden llegar a limitar el tipo de conocimientos y la gama
de inferencias que estos sistemas pueden tener con respecto a los datos
recogidos sobre mujeres y hombres.
Los sistemas de IA, los
algoritmos y el aprendizaje automático, permiten a muchas de las tecnologías
actuales imitar la inteligencia cognitiva humana. Sin embargo, al igual que las
personas, los algoritmos, en forma de aprendizaje automático que utiliza
(grandes) cantidades de datos, son vulnerables a los sesgos y corren el riesgo
de crear o perpetuar sesgos, haciendo que sus decisiones sean “injustas”
(Caliskan et al., 2017). Esto puede suceder a través del algoritmo
y su entrenamiento, pero también a través de la selección y el procesamiento de
datos conjuntos.
Estos hallazgos muestran que
el sesgo por características de género puede ocurrir en contextos donde los
datos que los modelos seleccionan y procesan son fundamentales para la toma de
decisiones. Bajo estas observaciones, se muestra que los modelos de algoritmos
predictivos tienen el riesgo de aprovechar el sesgo social vinculado al género. Esto
podría tener un impacto devastador en la sociedad en su conjunto, así como en
los individuos involucrados, en la medida que refleja, amplifica o distorsiona
la percepción del mundo real y el statu quo. Por ello, es urgente la
propuesta y la puesta en marcha de agendas políticas eficaces. Además, es
necesaria la implementación por parte de los diseñadores de distintas técnicas
y sesgos atenuadores que puedan mitigar el sesgo de los modelos mediante la
calibración de la predicción.
RRI, discriminación de género y regulación
El concepto de Responsible Research and
Innovation (RRI) tiene una gran importancia política en el contexto
europeo. La literatura que aborda el RRI busca comprender cómo la investigación
y la innovación pueden volverse más responsables, y las implicaciones que esta
responsabilidad en investigación e innovación tienen. La RRI es una nueva
lógica de investigación e innovación, la cual transforma las prácticas de
investigación en cualquiera de las disciplinas, para que estas sean
deliberativas, inclusivas y anticipatorias. Por ello, aparte de tener una
integración investigativa e innovadora con los valores, la RRI también integra
las necesidades y las inquietudes de una sociedad para transformar las
prácticas de investigación y de innovación (Wittrock et al., 2021).
Se destaca la incorporación
de la dimensión igualdad de género. Esta dimensión se entiende como
una construcción tridimensional mediante la cual se alcanza la igualdad de
género cuando (1) las mujeres y los hombres están representados por igual en
todas las disciplinas y en todos los niveles jerárquicos, (2) se eliminan las
barreras de género para que las mujeres y los hombres puedan desarrollar su
potencial por igual, y (3) cuando se considere la dimensión de género en todas
las actividades de investigación e innovación (Hartlapp et al.,
2021).
Los sistemas de IA
actualmente tienen un impacto significativo en el empleo de las economías
avanzadas, y constantemente aparecen versiones más sofisticadas de este tipo de
tecnologías. Pero ¿dónde están las políticas de innovación e investigación
responsables en relación con los sistemas de IA y la discriminación de género?
Dado que los incentivos del mercado posiblemente sean insuficientes para
minimizar el sesgo algorítmico de género, la regulación debería intervenir. En
cambio, las agendas políticas relacionadas con la ética y la IA se han centrado
más en los marcos éticos que en las posibilidades de mejorar la regulación
(Vesnic-Alujevic et al., 2020).
La discriminación de género
fuera del contexto laboral, para el acceso a bienes y servicios disponibles al
público, está cubierta por la Directiva 2004/113/EC, la Directiva de Bienes y
Servicios. Para los casos de empleo, la Directiva de Igualdad de Género
refundida 2006/54/EC intenta proporcionar cierta subsanación. Sin embargo, la
publicidad está explícitamente exenta del artículo 3(3) de la Directiva de
bienes y servicios y, por lo tanto, la legislación de la UE sólo cubre la
discriminación fuera del género. En consecuencia, la publicidad específica para
hombres y mujeres es legal, a pesar de que el producto deba ofertarse de la
misma manera tanto para hombres como para mujeres. Ahora bien, cuando las
empresas adaptan las ofertas y las disposiciones contractuales a destinatarios
individuales, estas ofertas se microfocalizan y no apuntan a ambos géneros.
Esta tendencia se microfocalización aumenta con el uso de los sistemas de
aprendizaje automático.
Dados el sesgo de género y el
breve trayecto de regulación al respecto, se percibe la necesidad de
nuevos marcos normativos que refuercen las recomendaciones de los documentos
políticos. Las aplicaciones de IA pueden mostrar prejuicios contra ciertos
grupos de personas, lo que puede tener consecuencias perjudiciales para esos
grupos. Si bien la IA ofrece muchos beneficios potenciales, se debe tener en
cuenta su potencial de sesgo y se deben tomar medidas para mitigar sus efectos
adversos.
A modo de conclusión,
algunas medidas para promover la diversidad de género en el desarrollo de
la IA pueden incluir: una representación equitativa de mujeres y hombres en los
conjuntos de datos utilizados en la IA; asegurar que los algoritmos de la IA no
estén sesgados en función del género; desarrollar herramientas para identificar
y corregir el sesgo de género en la IA; y aumentar la conciencia sobre el sesgo
de género en la IA y las medidas para reducirlo.
Referencias
Altman, M., Wood, A., &
Vayena, E. (2018). A harm-reduction framework for algorithmic fairness. IEEE
Security & Privacy, 16(3), 34-45.
Caliskan, A., Bryson, J. J.,
& Narayanan, A. (2017). Semantics derived automatically from language
corpora contain human-like biases. Science, 356(6334),
183-186.
Hacker, P. (2018). Teaching
fairness to artificial intelligence: existing and novel strategies against
algorithmic discrimination under EU law. Common Market Law Review, 55(4).
Hartlapp, M., Müller, H.,
& Tömmel, I. (2021). Gender equality and the European Commission. Routledge
Handbook to Gender and EU Politics.
Houkes, W., & Vermaas, P.
E. (2010). Technical functions: On the use and design of artefacts (Vol.
1). Springer Science & Business Media.
Martínez, C. D., García, P. D., & Sustaeta, P. N.
(2020). Sesgos de género ocultos en los macrodatos y revelados mediante redes
neurales: ¿hombre es a mujer como trabajo es a madre? REIS: Revista
Española de Investigaciones Sociológicas, (172), 41-60.
Nadeem, A., Marjanovic, O., & Abedin, B. (2021).
Gender Bias in AI: Implications for Managerial Practices. In Conference on e-Business, e-Services and e-Society,
Springer, Cham, 259-270.
Ntoutsi, E., Fafalios, P.,
Gadiraju, U., Iosifidis, V., Nejdl, W., Vidal, M. E., ... & Staab, S. (2020). Bias in data‐driven artificial intelligence systems—An introductory survey. Wiley
Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 10(3),
e1356.
Van Oost, E. (2003).
Materialized Gender: How Shavers Configure the Users’ Feminity and Masculinity.
En Nelly Oudshoorn, & Trevor Pinch (Eds.), How Users Matter. The
Co-construction of Users and Technology. Cambridge, London: The MIT Press,
193–208.
Vesnic-Alujevic, L.,
Nascimento, S., & Polvora, A. (2020). Societal and ethical impacts of
artificial intelligence: Critical notes on European policy frameworks. Telecommunications
Policy, 44(6), 101961.
Wittrock, C., Forsberg, E. M., Pols, A., Macnaghten, P., & Ludwig, D. (2021). Introduction to RRI and the Organisational Study. In Implementing Responsible Research and Innovation. Springer, Cham, 7-22.
Keywords (use both uppercase and lowercase letters)
Main author information
Co-authors information
Status:
Approved