Algoritmos, una caja negra que es machista

Jul 28, 2019

[vc_row type=”in_container” full_screen_row_position=”middle” scene_position=”center” text_color=”dark” text_align=”left” top_padding=”4%” bottom_padding=”4%” overlay_strength=”0.3″ shape_divider_position=”bottom” bg_image_animation=”none” shape_type=””][vc_column column_padding=”padding-4-percent” column_padding_position=”left-right” background_color_opacity=”1″ background_hover_color_opacity=”1″ column_link_target=”_self” column_shadow=”none” column_border_radius=”none” width=”1/1″ tablet_width_inherit=”default” tablet_text_alignment=”default” phone_text_alignment=”default” column_border_width=”none” column_border_style=”solid” bg_image_animation=”none”][vc_column_text css_animation=”bottom-to-top”]Los algoritmos dan forma a nuestro mundo, incluso más de lo que imaginamos. Están tejidos con la vida cotidiana. No sólo están en nuestro celular o laptop, también en los autos, en los electrodomésticos, en las casas, en las oficinas y un largo etcétera. Tanto así que son capaces de planificar vuelos e incluso volar aviones, manejar fábricas, intercambiar y enrutar productos, cobrar las ganancias y mantener los registros.

Antes, la única forma de lograr que una computadora hiciera algo, ya sea sumar dos números o hasta volar un avión, era escribiendo un algoritmo que explicara detalladamente cada paso a seguir. Actualmente las nuevas tecnologías son más evolucionadas, están los algoritmos de aprendizaje automático por ejemplo. Que descubren pasos a seguir por su cuenta; según el historial, los gustos o las búsquedas más populares. 

[divider line_type=”No Line” custom_height=”30″]

De acuerdo al ingeniero y profesor en Ciencias de la Tecnología, Pedro Domingos en el libro The Master Algorithm: How the Quest for the Ultimate Learning Machine will Remake our World; “Estas tecnologías aparentemente mágicas funcionan porque, en esencia, el aprendizaje automático se basa en la predicción: predecir lo que queremos, los resultados de nuestras acciones, cómo lograr nuestras metas, cómo cambiará el mundo”. 

Convivimos con estos algoritmos cada día, desde el momento que nos acostamos hasta la mañana siguiente cuando suena el despertador. Al escribir una consulta en un motor de búsqueda, dígase Google o Binge, es gracias a estos algoritmos que el motor determina qué resultados mostrar, y sí, también que anuncios. O al revisar el correo electrónico y no ver el correo no deseado, esto no es azar, es porque el aprendizaje automático del algoritmo lo filtra. También en Amazon cuando se compra un libro o en Netflix se quiere ver una serie o una película, un algoritmo predice los gustos, que ver, leer o comprar. 

 

¡Cuidado con la caja negra!

[divider line_type=”No Line” custom_height=”30″]

Los algoritmos funcionan y nos complacen. El doctor en neurociencia y bioquímica, Henning Beck, recientemente dijo en una entrevista con Letras Libres “a la gente le encantan los patrones de pensamiento y las rutinas. Los modelos de negocios de las empresas más valiosas funcionan tan bien porque es muy conveniente mantener los hábitos de las personas. Facebook, Amazon y Google sólo me muestran lo que es mejor para mí y eso es cómodo”. 

Lo conflictivo aquí es el enigma detrás de su función. Pedro Domingos menciona que “incluso cuando abren nuevas ventanas a la naturaleza y al comportamiento humano, los algoritmos de aprendizaje en sí mismos permanecen envueltos en el misterio. Son aún una caja negra”. Y esto resulta bastante peligroso ya que la puerta al error y sesgo se mantiene abierta. 

En la misma línea el periodista de Digital Trends Luke Dormehl ha cuestionado lo anterior. Sugiere que las personas no tienen forma de saber cómo se llega a conclusiones determinadas, ni conocer si los resultados arrojados por el algoritmo son correctos o parten de políticas distorsionadas o incluso de hechos erróneos. Los algoritmos no son casuales, ni adquieren una voluntad propia. Son lenguajes programados por personas que aprenden a alcanzar la meta para la que fueron programados.

En teoría deberíamos ser capaces de señalar los pasos específicos que se han aplicado en cada mini decisión que conduce a la principal y final. Por diversos motivos, los cuales desconozco, el código no suele hacerse público y los pasos seguidos por el algoritmo habitúan mantenerse ocultos. Esto es algo común menciona Dormehl “la opacidad de muchos sistemas automatizados significa que están protegidos contra el escrutinio, y que las personas no pueden ver o debatir, solo experimentar los resultados finales del proceso de toma de decisiones en sí”. Pero qué pasa cuando una tecnología está tan extendida y cambiando tanto el juego ¿será sensato dejar que se mantenga oculta?

 

“Armas de destrucción matemática”

[divider line_type=”No Line” custom_height=”30″]

De acuerdo al libro Weapons of Math Destruction de la Doctora en Matemáticas en Harvard y experta en ciencia de datos Cathy O’Neil, algunos algoritmos afectan e impactan negativamente especialmente a las minorías. O’Neil descubrió que el mayor peligro de estos algoritmos, o mejor dicho “Armas de Destrucción Matemática”, es la opacidad de los mismos.”Los algoritmos son reservados y las personas a las que se dirigen no entienden cómo funcionan, y es posible que las personas con más poder y privilegio ni siquiera se encuentren consideradas en estos algoritmos”, añade Cathy. 

Un claro ejemplo son aquellos que se utilizan para desplegar recursos policiales o determinar sentencias en los Estados Unidos. O ‘Neil menciona que “los algoritmos empleados para calcular la tasa de reincidencia de los presos condenados y  que el Sistema de Justicia pública está injustamente atribuida a la raza como un factor en la reincidencia de los reclusos, demostrando erróneamente que es más probable que las personas de color sean delincuentes reincidentes”. Y si se piensa que es fortuito, en definitiva no lo es. 

Las cifras que llevan a estas sentencias en parte, proviene de las interacciones de la policía con la población, que se sabe, según las investigaciones de personas como Cathy O’Neil, es desigual y a menudo basada en la raza. El otro tipo de entrada, generalmente es un cuestionario, que también es problemático. Donde en algunos casos incluso se les pregunta a las personas acusadas ​​si sus familias tienen un historial de problemas con la ley, lo cual si se le preguntará en una audiencia pública ¿sería inconstitucional?, pero se agrega en la calificación del acusado y se tilda de objetivo.

Al final del día es importante considerar que datos se vierten en los algoritmos. Es como dice Pedro Domingos, “la primera línea de defensa sin importar cuán bueno sea el algoritmo, es que datos obtiene. El que controla los datos controla el algoritmo”. 

 

Los algoritmos aprenden, ¿qué les estamos enseñando?

[divider line_type=”No Line” custom_height=”30″]

Los datos no sólo describen el mundo, sino que se utilizan cada vez más para darle forma. La ceguera de género en la cultura tecnológica produce lo que la periodista y activista feminista Caroline Criado Perez llama el enfoque de “talla única para hombres”. 

En su reciente libro  Invisible Women: Data Bias in a World Designed for Men Criado Perez da una enorme cantidad de ejemplos que demuestran como los datos que vertimos en los algoritmos juegan un papel crucial en el sesgo y la desigualdad. Desde el tamaño de los smartphones que en promedio resultan demasiado grandes para las manos de mujeres; o el software de reconocimiento de voz que en el caso de Google da un 70% de preferencia a la voz masculina. Los algoritmos se están quedando con la impresión de que el mundo está en realidad dominado por hombres porque eso son los datos que estamos enseñando (y esto es solo una parte del problema).

Las mujeres estamos siendo subrepresentadas por datos falsos o inexistentes. Un análisis del 2017 encontró que los nombres femeninos y las palabras (“mujer”, “niña”, etc.) estaban más asociadas con la familia que con la carrera. En otro análisis del 2016 un conjunto de datos basado en Google News encontró que la principal ocupación vinculada a las mujeres era ‘Ama de casa’ y la principal ocupación relacionada con los hombres era ‘Maestro’. Entonces cuando Londa Schiebinger doctora y académica de la Universidad de Stanford, utilizó un software de traducción para traducir de español a inglés una entrevista periodística suya. 

No fue casual que tanto Google Translate como Systran utilizaran repetidamente los pronombres masculinos para referirse a ella, a pesar de la presencia de términos claramente definidos en femenino como “profesora”. La cuestión es que estos estereotipos culturales son peligrosos y están alimentando los algoritmos de aprendizaje. 

“Los algoritmos son opiniones que se convierten en código”, asegura Cathy O’Neil en una plática TED Talk. “La gente suele pensar que son objetivos, verdaderos y científicos, pero es un truco de marketing. Todos tenemos prejuicios, y por eso se puede codificar el sexismo o cualquier otro tipo de fanatismo”. 

 

¿Qué futuro nos espera?

[divider line_type=”No Line” custom_height=”30″]

Muchas veces los algoritmos llegan con las mejores intenciones, pero como hemos visto otras tantas resultan perjudiciales. Por eso, es importante que ofrezcan transparencia al divulgar los datos de entrada que están utilizando y sus procesos de selección, por ejemplo. Incluso expertas como Cathy O’Neil discuten la necesidad de crear auditorias para desarrollar estándares de ética y controlar el mal uso que se le está dando a los algoritmos. 

Alegrense que no todo está perdido. Actualmente para que los algoritmos dejen de ser una caja negra se están desarrollando tecnologías como explainable AI o XAI que son algoritmos que explican su razonamiento, así las personas usuarias puedan verdaderamente entenderlos, ser participes y localizar sesgos. También hay personas como Timnit Gebru, co-directora del Equipo de Inteligencia Artificial Ética de Google que ha trabajado para visibilizar y lograr un internet más representativo. Igualmente hay organizaciones como el AI Now Institute de la Universidad de Nueva York, donde se han realizado investigaciones sobre las implicaciones sociales de la tecnología de aprendizaje.

Think About It GIF by Robert E Blackmon - Find & Share on GIPHY

Después de todo los algoritmos son potentes mecanismos y tenemos que mantener nuestros ojos abiertos a ellos. Seamos responsables, no podemos tratarlos como una fuerza lejana, neutral e inevitable. Tal como advierte O’Neil “Los datos no se irán a ningún lado, ni las computadoras, ni mucho menos las matemáticas. Los algoritmos son incesantemente las herramientas en las que confiaremos para coordinar nuestras instituciones, implementar nuestros recursos y administrar vidas. Estos modelos se construyen no solo a partir de datos, sino también de opciones, no se trata sólo de logística, beneficios y eficiencia, son también fundamentalmente morales”. [/vc_column_text][/vc_column][/vc_row][vc_row type=”in_container” full_screen_row_position=”middle” scene_position=”center” text_color=”dark” text_align=”left” overlay_strength=”0.3″ shape_divider_position=”bottom” bg_image_animation=”none”][vc_column column_padding=”no-extra-padding” column_padding_position=”all” background_color_opacity=”1″ background_hover_color_opacity=”1″ column_link_target=”_self” column_shadow=”none” column_border_radius=”none” width=”1/1″ tablet_width_inherit=”default” tablet_text_alignment=”default” phone_text_alignment=”default” column_border_width=”none” column_border_style=”solid” bg_image_animation=”none”][nectar_btn size=”medium” button_style=”regular” button_color_2=”Accent-Color” icon_family=”fontawesome” url=”http://www.luchadoras.mx/tecnolovers” text=”Regresar” icon_fontawesome=”fa fa-long-arrow-left”][/vc_column][/vc_row]

Posts relacionados

Fanzine: Mi cuerpo, mis datos

[vc_row type="in_container" full_screen_row_position="middle" scene_position="center" text_color="dark" text_align="left" top_padding="2%" bottom_padding="2%" overlay_strength="0.3" shape_divider_position="bottom" bg_image_animation="none" shape_type=""][vc_column...

Código, un lenguaje que es político

[vc_row type="in_container" full_screen_row_position="middle" scene_position="center" text_color="dark" text_align="left" top_padding="4%" bottom_padding="4%" overlay_strength="0.3" shape_divider_position="bottom" bg_image_animation="none" shape_type=""][vc_column...

#DIY, haz un bot de puro amor feminista

[vc_row type="in_container" full_screen_row_position="middle" scene_position="center" text_color="dark" text_align="left" top_padding="4%" bottom_padding="4%" overlay_strength="0.3" shape_divider_position="bottom" bg_image_animation="none" shape_type=""][vc_column...