Top Posts
Un balance de la lucha de la CNTE:...
Asamblea de Daniel Noboa aprueba instalación de bases...
La (des)nazificación de Alemania
El sistema de castas y los dilemas de...
AgroALBA arrancó en Venezuela: estrategias solidarias para producir...
¡No en nuestro nombre! Manifiesto de feministas contra...
Presidente Maduro propone Escuela de Agricultura Regenerativa para...
EE. UU. vs. China: ¿quién manda en el comercio...
Entre el wokeismo y el populismo de derecha
PALESTINA Y LA SOLIDARIDAD INTERNACIONAL
  • Colectivo Insurgencia Magisterial
Portal Insurgencia Magisterial
Banner
  • Inicio
  • Nosotros/Legal
  • Directorio
  • Alianzas
  • Columnistas
  • Voces que seguimos
  • Calendario de eventos
  • Educooperando
Espacio principalEspacio secundario

La ley del algoritmo

por RedaccionA enero 23, 2025
enero 23, 2025
163

Por: Raquel C. Pico. 23/01/2025

La tecnología se ha visto como la solución para una justicia más neutra. Sin embargo, los algoritmos tienen los mismos sesgos que los datos con los que han sido alimentados.

Usar la ciencia y las nuevas tecnologías para lograr mejorar la justicia y reducir el crimen no es una idea nueva. Tampoco ha sido una exenta de polémicas. Detrás de no pocos exámenes científicos sobre el crimen y los criminales realizados durante el siglo XIX —y que en algunos casos tuvieron una importancia crucial hasta bien entrado el siglo XX— estaban los prejuicios de quienes hacían la investigación. Partir de los números, de las estadísticas o de los datos puros parece, de entrada, mucho más neutro e incluso más prometedor. Ya en los años 30, como recuerda el documental El algoritmo contra el crimen, Scotland Yard estaba haciendo mapas estadísticos sobre delitos para afinar la prevención del crimen. Luego, los diferentes cuerpos de policía estadounidenses fueron incluyendo análisis de datos y tecnología predictiva. En el cambio de siglo ya hablaban de «policía predictiva», gracias al uso intenso de datos. Chicago llegó a desarrollar su «lista estratégica de sujetos», en la que un algoritmo había perfilado un risk score. Es una puntuación del riesgo que suponía a cada persona como potencial criminal.

Pero los algoritmos no han entrado solo a formar parte de la prevención del crimen, sino también de la propia administración de justicia. Varias empresas han desarrollado herramientas que ayudan a los jueces a sentenciar prediciendo reincidencias o peligrosidad. De 2016 es el caso Loomis, también en Estados Unidos: un informe de IA (una herramienta llamada Compas) identificó a Eric Loomis como de «alto riesgo para la comunidad», lo que llevó a que la pena impuesta fuese más elevada de lo previsto (Loomis se había declarado culpable y eso le habría permitido salir en libertad vigilada, pero, en cambio, fue condenado a 5 años de cárcel y 6 de libertad vigilada). La sentencia fue apelada, porque la defensa consideraba que se violaban los derechos fundamentales del acusado al no permitirle seguir el proceso que llevó a esa sentencia. Por el contrario, el Tribunal Supremo de Wisconsin consideró que no cabía réplica: la IA había simplemente usado datos.

Y ahí está el quid de la cuestión: el boom de los algoritmos en las diferentes áreas de la justicia está conectado no solo con la idea de prevenir, sino también con la percepción de que lograrán hacer un trabajo ajeno a las emociones. No se dejarán llevar, como los seres humanos, por sus pasiones y sus emociones. Serán más ecuánimes. Pero esto es una falacia. Los algoritmos —empezando ya con los propios datos que alimentan toda esta tecnología— tampoco están libres de fallos y de sesgos. Si las fuentes de información de las que beben están sesgadas, sus conclusiones también lo estarán.

Si las fuentes de información de las que beben los algoritmos están sesgadas, sus conclusiones también lo estarán

Los datos que genera un sistema judicial como el estadounidense, con un serio problema de racismo sistémico, no son ajenos a sus problemas. Si durante décadas se han estado dando sentencias más duras a las personas que no son blancas por los sesgos de los jueces, esa será la información que alimente al algoritmo y la que le llevará a tomar decisiones. Las personas no blancas seguirán recibiendo sentencias más duras.

Como explican en el documental, es algo similar a lo que pasa en los sistemas de policía predictiva, que además acaban entrando en un bucle de retroalimentación. Si se destinan más policías a una calle o un barrio, en esa zona se procesarán más crímenes. Eso no quiere decir que en otras zonas de la ciudad no se estén produciendo delitos: puede ser que esté ocurriendo pero que no haya ningún policía allí para verlo. Sin embargo, el algoritmo no verá eso: percibirá que esa es la zona más peligrosa y destinará allí más vigilancia policial. Y se entrará en un bucle.

Durante unas cuantas décadas, ha existido una cierta ceguera social ante esta cuestión. Como apunta una de las expertas de El algoritmo contra el crimen, a un algoritmo lo cuestionamos menos que a un juez racista, aunque ambos puedan tener el mismo sesgo. Damos por sentado que la tecnología es neutral, cuando realmente depende mucho de como haya sido alimentada y de cómo esté siendo utilizada.

El algoritmo no es neutro

Por eso, la justicia algorítmica puede aumentar las disparidades. En 2016, una investigación de ProPublica demostró que los algoritmos que usaban en la justicia estadounidense eran racistas: las personas no blancas (negras, hispanas…) recibían condenas mucho más duras que las personas blancas, incluso cuando el crimen de las segundas era más grave que el de las primeras. Y una investigación de la Unión Estadounidense por las Libertades Civiles (ACLU) que recoge El enemigo conoce el sistema, de Marta Peirano, determinó que las personas de color recibían penas un 20% más largas que las blancas por culpa de los algoritmos. En la lista de personas de riesgo de la policía de Chicago, el 77% de los potenciales criminales identificados eran personas negras o hispanas.

Comprender que los algoritmos no son neutrales es el primer paso para abordar los retos de la justicia algorítmica, pero lo cierto es que no es el único punto conflictivo. Otro de los grandes retos es la falta de transparencia de estos sistemas. Los algoritmos judiciales han sido desarrollados por compañías tecnológicas y son, por tanto, «tecnología propietaria»: pertenecen a una empresa y están blindados por el copyright. Es imposible saber cómo funciona esta tecnología y cómo toma decisiones, porque es un secreto corporativo. Por ello, los acusados no podrán entender del todo en base a qué se decidió su sentencia.

Las personas de color reciben penas un 20% más largas que las blancas debido a los algoritmos

El otro de los grandes puntos es la ética. ¿Hasta qué punto es moral que las decisiones dependan de un sistema que no nos puede explicar realmente qué ha hecho y por qué?

Con todo, los sesgos de la IA son saneables: con corrección, atención a estas cuestiones en el diseño o incorporar la ética desde el primer paso de trabajo en estos algoritmos se podrían mejorar las cosas. Igualmente importa abordar qué supone el uso de algoritmos en la justicia y qué impacto podría tener en la sociedad.

Europa cuenta con una normativa exigente en materia de inteligencia artificial, que limita qué se puede hacer y qué no al tiempo que suma mecanismos de seguridad para la ciudadanía. Eso supone que la justicia algorítmica tiene ciertas barreras. «Las personas no deberán ser objeto de una decisión basada únicamente en el tratamiento automatizado (como algoritmos) y que sea jurídicamente vinculante o que les afecte significativamente», recuerda la Comisión Europea. La UE no permite crear sistemas de puntuación social ni de policía predictiva basada en perfiles (como el sistema de Chicago).

Aun así, esto no quiere decir que no se use la inteligencia artificial en cuestiones de seguridad. En España, por ejemplo, el Ministerio de Interior usa un algoritmo (VioGén) para prevenir el riesgo futuro para las mujeres víctimas de violencia de género.

LEER EL ARTÍCULO ORIGINAL PULSANDO AQUÍ

Fotografía: Ethic

Compartir 0 FacebookTwitterWhatsapp
RedaccionA

noticia anterior
El turismo como arma de la colonización, véase las empresas online
noticia siguiente
“Existe una red que disemina la desinformación desde distintos países, pero con una identidad ideológica común”

También le podría interesar

¿Mi jefe es un algoritmo?

mayo 16, 2025

El algoritmo o la fábrica: la clase obrera...

abril 24, 2025

Cuando despertamos, el algoritmo aún estaba ahí

noviembre 8, 2024

Visitantes en este momento:

543 Usuarios En linea
Usuarios: 63 Invitados,480 Bots

Blog: Perspectivas comunistas

Desde el Plantón magisterial en el Zócalo de la CDMX

Nuestras redes sociales

Blog de la Columna CORTOCIRCUITOS

Nuestros grupos de difusión

Artículos publicados por mes

Síguenos en Facebook

Síguenos en Facebook

Artículos por AUTORES

Artículos publicados por FECHA

junio 2025
L M X J V S D
 1
2345678
9101112131415
16171819202122
23242526272829
30  
« May    

Artículos más leídos esta semana

  • 1

    Del Acuerdo Educativo Nacional al Plan de estudios 2022.

    septiembre 13, 2022
  • 2

    Incongruencias de la NEM de Marx Arriaga: luchar contra el neoliberalismo promoviendo un concurso de Círculos de estudio sobre Freire, con premios de 10 mil pesos a los ganadores y con mecanismos de exclusión

    septiembre 25, 2024
  • 3

    Luce, la polémica “mascota” con que El Vaticano busca acercarse a los jóvenes

    noviembre 16, 2024
  • 4

    Milei, una bomba de tiempo.

    diciembre 3, 2023
  • 5

    El fraude de las Universidades para el Bienestar Benito Juárez García. Segunda parte

    diciembre 29, 2024
  • 6

    “Érase una vez la colonización”: Carlos Vives cree que la conquista fue una película de Disney

    septiembre 19, 2024
  • 7

    La Casa de los Famosos: ¿es posible no mirar?

    septiembre 19, 2024
  • 8

    Geopolítica del despojo: biopiratería, genocidio y militarización

    noviembre 8, 2023
  • 9

    REDALYC se deslinda de “Artículo” con denuncia de “plagio”

    noviembre 14, 2023
  • 10

    Entrevista a Paulina Hunt, dramaturga y actriz humanista y coautora del libro «Pedagogía de la Expresión»

    agosto 25, 2024
  • 11

    Pako Belmonte: «Necesitamos la complicidad de la gente para defender la función social de las bibliotecas públicas y evitar recortes»

    noviembre 8, 2023
  • 12

    Sin Estado de Derecho estamos todos en peligro

    marzo 22, 2025
  • México 2018, un año crucial para la lucha de clases.

    enero 15, 2018
  • 14

    Tecnologías digitales y transformaciones sociales.

    septiembre 28, 2020

Rolando Revagliatti. Argentina

Raúl Allain. Perú

Juan Antonio Guerrero O. México

Vanesa Monserrat. Argentina

Carolina Vásquez Araya

Ilka Oliva-Corado

Javier Tolcachier

Columna: CORTOCIRCUITOS

Manuel I. Cabezas González

Luis Armando González

Iliana Lo Priore

Jorge Salazar

Adolfo del Ángel Rodríguez

Oswualdo Antonio G.

José Eduardo Celis

Daniel Suárez

Güris J. Fry

Jorge Díaz Piña

Ángel Santiago Villalobos

Andrés Brenner

Alejandra Cortina

José Carlos Buenaventura

Luis Palacios

@2020 - Insurgencia Magisterial

Portal Insurgencia Magisterial
  • Inicio
  • Nosotros/Legal
  • Directorio
  • Alianzas
  • Columnistas
  • Voces que seguimos
  • Calendario de eventos
  • Educooperando
Portal Insurgencia Magisterial
  • Inicio
  • Nosotros/Legal
  • Directorio
  • Alianzas
  • Columnistas
  • Voces que seguimos
  • Calendario de eventos
  • Educooperando
@2020 - Insurgencia Magisterial

Leer también:x

¿Pueden los algoritmos ser más justos que...

febrero 15, 2022

La dictadura del algoritmo

junio 11, 2021

El algoritmo o la fábrica: la clase...

abril 24, 2025