Algoritmos para la manipulación política y la discriminación

Actualizado el viernes, 28 junio, 2024

El reciente escándalo suscitado por la manipulación ilegal de cuentas de Facebook con fines de propaganda política pone de relieve la urgencia de abordar las preocupaciones planteadas por Cathy O’Neil en su obra sobre las «armas de destrucción matemática». En este libro, la reconocida experta estadounidense en ciencia de datos explora los sesgos y fallos de diseño presentes en los algoritmos utilizados por empresas, fuerzas policiales y gobiernos, cuyas repercusiones afectan de manera perjudicial a la igualdad de oportunidades, los derechos laborales y la integridad democrática.

1. Los algoritmos en redes sociales permiten la adaptación de la propaganda política a las preferencias individuales de cada usuario, lo que puede llevar a la manipulación emocional con fines electorales.
2. Los modelos de prevención criminal basados en algoritmos pueden resultar en sentencias más duras para ciertos grupos demográficos, contribuyendo a la estigmatización de comunidades marginadas y a la sobrerrepresentación de minorías étnicas en el sistema carcelario.
3. Algunos algoritmos utilizados para prever la reincidencia criminal se basan en criterios limitados, como la ubicación residencial y las conexiones sociales del individuo.
4. En la selección de personal para trabajos de baja remuneración, se aplican algoritmos que buscan excluir a la mayor cantidad de personas de manera económica, en lugar de identificar al mejor candidato.
5. En el sector de seguros, ciertos algoritmos se utilizan para identificar clientes de alto riesgo y aumentar el costo de sus pólizas, sin considerar el impacto en el resto de los asegurados.
6. La opacidad en el funcionamiento de los algoritmos, debido a su condición de secreto comercial, impide que el público comprenda cómo se utilizan sus datos y cómo eso puede afectar sus vidas.
7. El uso del big data aprovecha el temor y la confianza que las personas depositan en las matemáticas para evitar que cuestionen su funcionamiento.
8. La autora aboga por métricas que aprovechen las habilidades individuales de cada postulante en la selección de personal y que identifiquen enfoques de rehabilitación efectivos para los exconvictos.
9. Es esencial que el mundo académico se involucre en la búsqueda de soluciones para detectar sesgos en los algoritmos y plataformas tecnológicas.
10. Se plantea la necesidad de una legislación que proteja a los ciudadanos de los abusos derivados de la minería de datos, similar a cómo las leyes laborales surgieron para abordar las condiciones inhumanas de las fábricas durante la Revolución Industrial.

Un caso emblemático que ilustra estos problemas es el de Sarah Wysocki, una maestra de primaria en Washington DC, cuya evaluación profesional fue determinada por un algoritmo en 2011. Este algoritmo, denominado «modelo de valor añadido», no evaluó directamente sus métodos de enseñanza, capacidad de corrección o habilidades tutoriales, sino que se basó en indicadores indirectos, como las calificaciones de sus estudiantes. A pesar de contar con el reconocimiento de los padres y del director de su escuela por su desempeño, Wysocki obtuvo una calificación muy baja en la enseñanza de lengua y matemáticas según este sistema algorítmico.

Es importante destacar que esta evaluación se basó en un número limitado de pruebas de un solo curso, que no alcanzaban el tamaño muestral necesario para ofrecer conclusiones estadísticamente válidas. Como consecuencia de esta puntuación, Wysocki fue despedida. Posteriormente, una inspección reveló la existencia de múltiples correcciones erróneas en las pruebas, realizadas por los propios maestros con el temor de ser mal evaluados por el algoritmo, lo que generó una inflación artificial de las calificaciones de los estudiantes.

Otro ejemplo elocuente del impacto pernicioso del big data en el ámbito educativo lo constituyen los rankings de universidades, cuya creación en 1988 por parte de la revista US News and World Report tuvo como objetivo principal aumentar sus ventas entre los estudiantes. Estos rankings, elaborados por individuos sin experiencia pedagógica, privilegian a las instituciones de élite anglosajonas y priorizan criterios que les resultan favorables, como la reputación, mientras ignoran aspectos desfavorables, como el costo de la matrícula. Si se incluyeran estos últimos, muchas universidades de élite verían mermada su posición en los rankings, mientras que las instituciones públicas se verían beneficiadas.

Como resultado de esta dinámica, las universidades de élite han incrementado sus aranceles, imponiendo así barreras económicas adicionales para el acceso a la educación superior. Por otro lado, las instituciones menos prestigiosas se han visto presionadas para alcanzar estándares inalcanzables, lo que ha promovido prácticas cuestionables en busca de mejorar su posición en los rankings.

Son algunos de los casos examinados en Armas de destrucción matemática (título español que no recoge el juego de palabras entre mass y math patente en el original Weapons of Math Destruction). Con pocas fórmulas y abundantes analogías, Cathy O’Neil desnuda los errores estadísticos y la falaz neutralidad de ciertos modelos matemáticos, dando una muy oportuna réplica a la visión del big data como panacea de todos los males sociales y económicos.

Fiasco en las predicciones

En sus páginas señala las dos premisas erróneas que sustentaban la predicción de impagos hipotecarios, cuyo fiasco detonó la crisis financiera de 2008: el futuro no diferirá del pasado, y los impagos son hechos aleatorios no relacionados entre sí. O’Neil no habla de oídas; doctora en matemáticas porla Universidad de Harvard, fue analista cuantitativa del fondo de inversión D.E. Shaw antes de unirse al movimiento Occupy Wall Street, cuyo espíritu impregna su blog mathbabe y este libro.

Cathy O’Neil arroja luz sobre los modelos de prevención criminal que guían las acciones de policías y jueces en Estados Unidos. Estos modelos, al favorecer ciertas variables geográficas y tipos de delitos, llevan a los agentes a patrullar principalmente en barrios pobres con altas tasas de delitos violentos, dejando de lado los distritos financieros donde se gestan estafas que afectan a millones de personas.

Algunos algoritmos utilizados para prever la reincidencia criminal se basan en criterios limitados, como la ubicación residencial y las conexiones sociales del individuo, lo que resulta en sentencias más severas. Esto tiene como consecuencia la estigmatización de comunidades marginadas, la sobre-representación de minorías étnicas desfavorecidas en las cárceles y la impunidad de delitos financieros.

En el ámbito laboral, se aplican algoritmos en la selección de personal para empleos de baja remuneración, no con el objetivo de encontrar al mejor candidato, sino de excluir a la mayor cantidad de personas de manera económica. Esta práctica, resaltada por O’Neil, socava el propósito social de la contratación al desestimar el valor individual de los postulantes.

Por otro lado, en el sector de seguros, ciertos algoritmos se utilizan para identificar clientes de alto riesgo y aumentar el costo de sus pólizas, sin considerar la situación del resto de los asegurados. Esta práctica distorsiona el propósito fundamental de las aseguradoras, que es proporcionar seguridad financiera en momentos de dificultad, convirtiéndolas en entidades que perpetúan desigualdades económicas.

Algoritmos y redes sociales

El capítulo final se adentra en un terreno de debate candente: el uso problemático de los algoritmos en las redes sociales. La capacidad de las plataformas para conocer en detalle el perfil de sus usuarios ha dado lugar a una práctica insidiosa: la adaptación de la propaganda política a las preferencias individuales de cada persona. Esto no solo fomenta la demagogia al decir a cada individuo lo que quiere escuchar, sino que también abre la puerta a la manipulación emocional con fines electorales.

La irracionalidad subyacente a la ‘racionalidad numérica’ nos remite al principio GIGO.

La aparente racionalidad de los algoritmos nos remite al principio del «garbage in, garbage out» (basura entra, basura sale), según el cual, si se introducen datos defectuosos en un sistema informático, se obtendrán resultados igualmente defectuosos. Muchos de estos modelos, como señala O’Neil, reflejan opiniones disfrazadas de matemáticas, con frecuencia cargadas de prejuicios racistas y clasistas. La naturaleza de secreto comercial de estos algoritmos, que los protege del escrutinio público, garantiza la opacidad de estas «armas de destrucción matemática», dejando a la gente en la oscuridad sobre cómo se utilizan sus datos y cómo eso puede afectar negativamente sus vidas.

La autora advierte sobre cómo el uso del big data aprovecha el temor y la confianza que las personas depositan en las matemáticas para evitar que cuestionen su funcionamiento.

Sin embargo, O’Neil no pierde la fe en el potencial positivo de la ciencia de los números y aboga por métricas que, en lugar de descartar candidatos laborales, aprovechen las habilidades individuales de cada postulante; que en lugar de aumentar la población carcelaria, identifiquen los enfoques de rehabilitación efectivos para los exconvictos; o que, como el modelo de Mira Bernstein, descubran señales de trabajos forzados en las cadenas de suministro de grandes marcas.

En este sentido, la autora considera esencial que el mundo académico se involucre en la búsqueda de soluciones, como lo ha hecho la Universidad de Princeton con el desarrollo de software que simula ser personas para detectar sesgos en los motores de búsqueda y en las plataformas de búsqueda de empleo en línea.

Para concluir, O’Neil plantea una analogía poderosa: al igual que las terribles condiciones en las fábricas durante la Revolución Industrial condujeron a la promulgación de leyes laborales, nuestra era requiere una legislación que proteja a los ciudadanos de los abusos derivados de la minería de datos.

Aunque la obra no busca ser una exposición exhaustiva de los defectos matemáticos y estadísticos de los modelos cuestionados, O’Neil prioriza la denuncia sobre la explicación detallada, consciente de la imposibilidad de abordar todos los aspectos en profundidad en un espacio limitado. A pesar de esta limitación, los lectores aprecian su llamado de atención sobre las nuevas y sofisticadas formas de injusticia que emergen en nuestra sociedad.