En el relato The Minority Report, Philip K. Dick describe un futuro en el que la humanidad ha eliminado los asesinatos y minimizado la actividad delictiva gracias a los precogs, seres clarividentes cuyas predicciones ayudan a frustrar los crímenes antes de que se cometan. La historia también inspiró una famosa película de Steven Spielberg, protagonizada por Tom Cruise, y a menudo se usa para describir paradigmáticamente los sistemas de prevención de la delincuencia que utilizan métodos de vigilancia masiva y algoritmos de evaluación predictiva de riesgos. El último ejemplo de un sistema así procede de Suecia. Esto sorprende porque este país ocupa sistemáticamente los primeros puestos en las clasificaciones de transparencia.

Algoritmos de discriminación
Tras cientos de correos electrónicos y decenas de solicitudes, casi todas rechazadas, los medios Lighthouse y Svenske Dagbladet (SvD) obtuvieron acceso a datos inéditos que les permitieron analizar los algoritmos de aprendizaje automático utilizados por la agencia sueca de seguridad social. El conjunto de datos obtenido mostró cómo el sistema utilizado discrimina a determinados grupos sociales, en particular a las mujeres, los extranjeros y las personas de los estratos sociales más bajos.

De hecho, los resultados muestran que Försäkringskassan, la agencia estatal encargada de tramitar las solicitudes de prestaciones, utiliza un sistema que señala automáticamente a determinadas personas, lo que desencadena investigaciones por parte de las autoridades competentes. Esto afectaría principalmente a las mujeres, que tienen una probabilidad de ser objeto de investigación por parte de las autoridades más alta que los hombres.

Según los datos recogidos, no hay ninguna razón bien fundada para que esto ocurra. Una razón sería la incapacidad de diferenciar entre errores intencionados y accidentales cometidos en las solicitudes de ayuda financiera. Sin embargo, el porcentaje de errores en las solicitudes presentadas por mujeres no es superior al de los hombres. Junto con otros grupos discriminados, como las personas de origen extranjero, las que ganan menos que la media nacional, o las que carecen de titulación universitaria, las mujeres solicitantes son sistemática y erróneamente identificadas como personas con alto riesgo de fraude. La investigación demuestra que la metodología y la tecnología aplicadas por Försäkringskassan son defectuosas.

La máquina sueca de la sospecha
Tras un velo de secretismo, la agencia de seguridad social utiliza algoritmos predictivos en busca de una epidemia de fraude que no se corresponde con los datos procedentes de los casos que han aterrizado en los tribunales. El caso sueco parece un ejemplo más de sesgo que penaliza a determinados colectivos con base en razones opacas que habría que buscar en las cajas negras de los modelos de machine learning a los que no se tiene acceso. En una investigación de 2016, PropPublica lo había bautizado como Machine Bias.

En los últimos tres años, Lighthouse ha enviado solicitudes de acceso a datos, algoritmos de aprendizaje automático y códigos fuente a nueve países diferentes, invocando la libertad de información. Según los investigadores, Suecia fue el país menos transparente y colaborativo. Las solicitudes comenzaron en octubre de 2021 y las respuestas fueron rechazadas continuamente, alegando razones como la confidencialidad y los datos sensibles. Preguntas genéricas pero fundamentales, como si los algoritmos se entrenaron con datos aleatorios o cuántas personas fueron marcadas por el sistema, fueron devueltas al remitente, alegando que cualquier información compartida podría facilitar posibles conductas fraudulentas. En una ocasión, la agencia se negó incluso a facilitar los datos que había publicado en su propio informe anual, alegando que eran de carácter confidencial.

No era la primera vez que los algoritmos de Försäkringskassan levantaban sospechas; ya en 2018, de hecho, la ISF, una autoridad de supervisión independiente, había decretado que el sistema no garantizaba un trato justo. Tal versión de los hechos no fue compartida por la agencia sueca de seguridad social, que rechazó los resultados y la validez del análisis.

A partir de la información obtenida de ISF, Lighthouse y Svenske Dagbladet obtuvieron acceso a lo que hasta entonces habían solicitado sin recibir respuesta.

El conjunto de datos contiene detalles de 6,129 personas que habían enviado solicitudes de prestaciones para cubrir bajas laborales necesarias para cuidar a hijos enfermos. 1,047 de ellas fueron investigadas al azar, mientras que las 5,082 restantes fueron informadas por los algoritmos predictivos.

Lo más visto
SearchGPT ahora es gratis: cómo funciona el buscador de OpenAI que desafía a Google
Trucos y Consejos
SearchGPT ahora es gratis: cómo funciona el buscador de OpenAI que desafía a Google
Por Fernanda González
Hasta 35 copas de vino al mes se vinculan con un menor riesgo de sufrir eventos cardiacos: estudio
Salud
Hasta 35 copas de vino al mes se vinculan con un menor riesgo de sufrir eventos cardiacos: estudio
Por Jorge Garay
México cobrará un nuevo impuesto a sitios como Temu y Shein a partir de enero
Negocios
México cobrará un nuevo impuesto a sitios como Temu y Shein a partir de enero
Por Fernanda González
La compra de Ozempic para adelgazar en México pone a los diabéticos en peligro
Ciencia
La compra de Ozempic para adelgazar en México pone a los diabéticos en peligro
Por Andrea J. Arratibel
Un informe de 2016 del Comité Sueco de Integridad había descrito esta práctica como "elaboración de perfiles de ciudadanos" y hablaba de riesgos extremos para la integridad personal. En 2020, una nota redactada por el responsable de protección de datos de la agencia había cuestionado incluso la legalidad del sistema.

Ninguna explicación
Incluso después de que se publicara la investigación, Försäkringskassan no dio ninguna explicación sobre cómo funcionan los modelos de aprendizaje automático o cómo garantiza un trato justo. El informe de Lighthouse afirma que "fuentes de la agencia [...] describen estos algoritmos como su "secreto mejor guardado. [...] Meses de investigaciones, incluyendo entrevistas con fuentes confidenciales, muestran cómo la agencia ha implementado estos sistemas sin ningún control, a pesar de las objeciones de los reguladores e incluso de su propio responsable de protección de datos."

Försäkringskassan calcula que los pagos indebidos —causados por errores del sistema o fraude— ascienden a 113 millones de euros al año, de los cuales aproximadamente la mitad (69 millones) se deben a reclamaciones fraudulentas. Esta estimación es especialmente importante porque ha orientado el debate público y las posteriores decisiones políticas, como el uso de algoritmos predictivos, el secreto de los modelos y los conjuntos de datos. Sin embargo, según los investigadores, la información obtenida del análisis del FSI arroja varias dudas sobre esta presunta epidemia de fraude. En 2022, de 5,520 abanderados, 1,686 (30,5%) fueron investigados por la policía. Los datos mostraron 166 condenas y 83 acuerdos de culpabilidad de 1,054 juzgados, un porcentaje bastante bajo en comparación con el total. Sin duda, demasiado bajo para pensar que existe una práctica deshonesta generalizada.

En su defensa, la agencia declaró que la decisión final sobre las evaluaciones es siempre responsabilidad de un ser humano, pasando por alto el uso secreto de algoritmos predictivos, la exageración en la estimación del fraude y la total falta de transparencia. En respuesta a las críticas, Anders Viseth, supervisor de algoritmos de la agencia, dijo: "No creo que tengamos que ser más transparentes".

Expertos en la materia, como Virginia Dignum, de la Universidad de Umeå, y David Nolan, de Amnistía Internacional, señalaron en cambio la ausencia de recursos para los ciudadanos perfilados y la dificultad de impugnar las decisiones tomadas por los algoritmos.