Los algoritmos son armas de destrucción matemática que profundizan la desigualdad

Ilustración: Olivia Mira

Aunque no los veamos, nuestra vida cotidiana, digital y material, está mediada por el uso de algoritmos. Herramientas matemáticas que suelen ser presentadas como neutrales, capaces de favorecer la “igualdad de oportunidades” y que se usan para evaluar riesgos, monitorear la salud, asignar vacantes en la escuela, decidir sobre la idoneidad de un candidato en un concurso o evaluar y descartar currículums en una búsqueda laboral.

Toda una serie de decisiones que afectan nuestra vida ya no son tomadas por humanos sino por modelos matemáticos. En teoría, esto debería garantizar neutralidad y decisiones no influenciables, sin sesgos: todos seríamos juzgados y evaluados con las mismas reglas y el que no las cumpla sería eliminado.

Sin embargo, Cathy O’Neil, doctora en matemática por la universidad de Harvard, acaba de publicar en castellano la traducción del libro en el que comenzó a desmenuzar esa mitología de la neutralidad de las herramientas matemáticas que habitan detrás de las nuevas formas de gestión de nuestra vida económica, social y amorosa.

Armas de destrucción matemática, acaba de ser traducido por una pequeña editorial española, Capitan Swing, y su principal tesis es justamente que la big data y las fórmulas matemáticas que la organizan aumentan las desigualdades y amenazan a la democracia.

De los dos lados del mostrador

O´Neil es una académica que entre 2008 y 2011, en plena crisis financiera, trabajó en una empresa de software de riesgo evaluando fondos de inversión y bancos en base al uso de herramientas matemáticas muy sofisticadas y que, espantada por los lobos de Wall Street, se fue a trabajar un par de años más como científica de datos en el sector de las start-ups de Nueva York, donde diseñó modelos para predecir las compras y los clics de las personas.  

A partir de esa doble experiencia, decidió escribir el libro en el que demuestra que los modelos matemáticos que se utilizan en la actualidad son opacos y deben ser regulados. En primer lugar, porque las conclusiones de los algoritmos son inapelables, incluso cuando están equivocados.

Una endoscopia de las “armas de destrucción matemática” que califican a maestros y estudiantes, otorgan o niegan préstamos, evalúan a los trabajadores de apps como Uber o Glovo, se dirigen a los votantes en base a criterios de segmentación y que, en Estados Unidos, ya toman decisiones sobre el otorgamiento de la libertad condicional y monitorean el sistema de salud, le permite afirmar que, sin regulaciones, vamos a un mundo en el que los privilegiados serán analizados por personas y las masas por máquinas. Hoy un código postal que delata un lugar de residencia empobrecido puede cancelar el acceso a un crédito o a un programa de salud sin que nadie pueda discutir la decisión.

El libro, publicado originalmente en 2016, se ocupa también de detallar el funcionamiento de los algoritmos de redes sociales como Facebook y su potencial para desviar decisiones electorales, una estrategia que ahora parece vieja ante las manipulaciones de información vía Whatsapp durante la última campaña presidencial en Brasil.

Pero O´Neil insiste en afirmar que los más perjudicados por esta nueva hegemonía matemática son los más pobres. “Yo estoy en Google. No necesito esconderme, los algoritmos no dañan principalmente a la gente como yo. Al contrario, el sistema fue hecho para favorecer a la gente como yo y fragilizar aún más a los más débiles”.

Tal vez por eso el libro está dedicado “A todos los que son señalados como perdedores” y aborrece a quienes con la excusa del discurso meritocrático, que ensalza la igualdad de oportunidades, despliegan un sinfín de algoritmos que persiguen a los más débiles y los castigan severamente, en lo que la autora denomina una guerra digital. De hecho, la alegoría guerrera recorre todo el libro.

La continuación de las finanzas por otros medios

El otro paralelo que traza O´Neil se vincula al mundo de las finanzas. “Descubrí todo tipo de similitudes entre las finanzas y la big data. De hecho, estas dos industrias explotan los mismos semilleros de talentos, la mayoría provenientes de universidades de elite y a los que desde el inicio de sus carreras se les explica que se harán millonarios en base a dos actividades que “agregan valor”, que son por lo tanto buenas al generar dinero y que deben ser recompensadas”.  Eso del lado de los privilegiados.

Del lado de los subalternos, O`Neil desarrolla varios ejemplos de los perjuicios que sufren. Como los estudiantes universitarios más pobres de Estados Unidos que son inundados con publicidades de universidades de segunda y tercera categoría, y que se juegan allí todos sus ahorros.

Universidades que invierten la mayoría de sus recursos en marketing segmentado para llenar sus aulas, a diferencia de las más prestigiosas que apuestan a la reputación de sus profesores. Ejemplos: la universidad de Phoenix gasta anualmente 2225 dólares por estudiante en marketing y 892 para la educación de cada uno de ellos. El Portland Community College, gasta 5953 dólares por alumno y por año solo para la dimensión educativa y 185 en marketing.

Ese mismo círculo vicioso se potencia con el uso de algoritmos en el ámbito de la justicia, donde los habitantes de los barrios más pesados cumplen las condenas más largas, sufren los despliegues policiales más violentos gracias al uso de algoritmos predictores de delitos y, encima, son bombardeados con publicidades de préstamos hipotecarios tóxicos de tipo subprime  o de escuelas privadas de cuarta para sus hijos. Una prueba, en definitiva, de que el más alto conocimiento matemático puede medir muy mal la miseria del mundo.