Top Posts
Educación para cuidar el medioambiente
Venezuela. Maduro exhorta a países a no depender...
Promesas y engaños del gobierno, pero sin resultados...
China. De Confucio a la IA: el país...
Ayotzinapa: la esperanza en nueva tecnología y renuncia...
Bolivia. FMI urge cambios en Bolivia y alerta...
¿Por qué destrozaron la calidad educativa?
Valoraciones sobre la situación de Ruth López
Primer round: CNTE desnuda carácter neoliberal de la...
Meritocracia sin igualdad es privilegio
  • Colectivo Insurgencia Magisterial
Portal Insurgencia Magisterial
Banner
  • Inicio
  • Nosotros/Legal
  • Directorio
  • Alianzas
  • Columnistas
  • Voces que seguimos
  • Calendario de eventos
  • Educooperando
Espacio principalEspacio secundario

La ley del algoritmo

por RedaccionA enero 23, 2025
enero 23, 2025
158

Por: Raquel C. Pico. 23/01/2025

La tecnología se ha visto como la solución para una justicia más neutra. Sin embargo, los algoritmos tienen los mismos sesgos que los datos con los que han sido alimentados.

Usar la ciencia y las nuevas tecnologías para lograr mejorar la justicia y reducir el crimen no es una idea nueva. Tampoco ha sido una exenta de polémicas. Detrás de no pocos exámenes científicos sobre el crimen y los criminales realizados durante el siglo XIX —y que en algunos casos tuvieron una importancia crucial hasta bien entrado el siglo XX— estaban los prejuicios de quienes hacían la investigación. Partir de los números, de las estadísticas o de los datos puros parece, de entrada, mucho más neutro e incluso más prometedor. Ya en los años 30, como recuerda el documental El algoritmo contra el crimen, Scotland Yard estaba haciendo mapas estadísticos sobre delitos para afinar la prevención del crimen. Luego, los diferentes cuerpos de policía estadounidenses fueron incluyendo análisis de datos y tecnología predictiva. En el cambio de siglo ya hablaban de «policía predictiva», gracias al uso intenso de datos. Chicago llegó a desarrollar su «lista estratégica de sujetos», en la que un algoritmo había perfilado un risk score. Es una puntuación del riesgo que suponía a cada persona como potencial criminal.

Pero los algoritmos no han entrado solo a formar parte de la prevención del crimen, sino también de la propia administración de justicia. Varias empresas han desarrollado herramientas que ayudan a los jueces a sentenciar prediciendo reincidencias o peligrosidad. De 2016 es el caso Loomis, también en Estados Unidos: un informe de IA (una herramienta llamada Compas) identificó a Eric Loomis como de «alto riesgo para la comunidad», lo que llevó a que la pena impuesta fuese más elevada de lo previsto (Loomis se había declarado culpable y eso le habría permitido salir en libertad vigilada, pero, en cambio, fue condenado a 5 años de cárcel y 6 de libertad vigilada). La sentencia fue apelada, porque la defensa consideraba que se violaban los derechos fundamentales del acusado al no permitirle seguir el proceso que llevó a esa sentencia. Por el contrario, el Tribunal Supremo de Wisconsin consideró que no cabía réplica: la IA había simplemente usado datos.

Y ahí está el quid de la cuestión: el boom de los algoritmos en las diferentes áreas de la justicia está conectado no solo con la idea de prevenir, sino también con la percepción de que lograrán hacer un trabajo ajeno a las emociones. No se dejarán llevar, como los seres humanos, por sus pasiones y sus emociones. Serán más ecuánimes. Pero esto es una falacia. Los algoritmos —empezando ya con los propios datos que alimentan toda esta tecnología— tampoco están libres de fallos y de sesgos. Si las fuentes de información de las que beben están sesgadas, sus conclusiones también lo estarán.

Si las fuentes de información de las que beben los algoritmos están sesgadas, sus conclusiones también lo estarán

Los datos que genera un sistema judicial como el estadounidense, con un serio problema de racismo sistémico, no son ajenos a sus problemas. Si durante décadas se han estado dando sentencias más duras a las personas que no son blancas por los sesgos de los jueces, esa será la información que alimente al algoritmo y la que le llevará a tomar decisiones. Las personas no blancas seguirán recibiendo sentencias más duras.

Como explican en el documental, es algo similar a lo que pasa en los sistemas de policía predictiva, que además acaban entrando en un bucle de retroalimentación. Si se destinan más policías a una calle o un barrio, en esa zona se procesarán más crímenes. Eso no quiere decir que en otras zonas de la ciudad no se estén produciendo delitos: puede ser que esté ocurriendo pero que no haya ningún policía allí para verlo. Sin embargo, el algoritmo no verá eso: percibirá que esa es la zona más peligrosa y destinará allí más vigilancia policial. Y se entrará en un bucle.

Durante unas cuantas décadas, ha existido una cierta ceguera social ante esta cuestión. Como apunta una de las expertas de El algoritmo contra el crimen, a un algoritmo lo cuestionamos menos que a un juez racista, aunque ambos puedan tener el mismo sesgo. Damos por sentado que la tecnología es neutral, cuando realmente depende mucho de como haya sido alimentada y de cómo esté siendo utilizada.

El algoritmo no es neutro

Por eso, la justicia algorítmica puede aumentar las disparidades. En 2016, una investigación de ProPublica demostró que los algoritmos que usaban en la justicia estadounidense eran racistas: las personas no blancas (negras, hispanas…) recibían condenas mucho más duras que las personas blancas, incluso cuando el crimen de las segundas era más grave que el de las primeras. Y una investigación de la Unión Estadounidense por las Libertades Civiles (ACLU) que recoge El enemigo conoce el sistema, de Marta Peirano, determinó que las personas de color recibían penas un 20% más largas que las blancas por culpa de los algoritmos. En la lista de personas de riesgo de la policía de Chicago, el 77% de los potenciales criminales identificados eran personas negras o hispanas.

Comprender que los algoritmos no son neutrales es el primer paso para abordar los retos de la justicia algorítmica, pero lo cierto es que no es el único punto conflictivo. Otro de los grandes retos es la falta de transparencia de estos sistemas. Los algoritmos judiciales han sido desarrollados por compañías tecnológicas y son, por tanto, «tecnología propietaria»: pertenecen a una empresa y están blindados por el copyright. Es imposible saber cómo funciona esta tecnología y cómo toma decisiones, porque es un secreto corporativo. Por ello, los acusados no podrán entender del todo en base a qué se decidió su sentencia.

Las personas de color reciben penas un 20% más largas que las blancas debido a los algoritmos

El otro de los grandes puntos es la ética. ¿Hasta qué punto es moral que las decisiones dependan de un sistema que no nos puede explicar realmente qué ha hecho y por qué?

Con todo, los sesgos de la IA son saneables: con corrección, atención a estas cuestiones en el diseño o incorporar la ética desde el primer paso de trabajo en estos algoritmos se podrían mejorar las cosas. Igualmente importa abordar qué supone el uso de algoritmos en la justicia y qué impacto podría tener en la sociedad.

Europa cuenta con una normativa exigente en materia de inteligencia artificial, que limita qué se puede hacer y qué no al tiempo que suma mecanismos de seguridad para la ciudadanía. Eso supone que la justicia algorítmica tiene ciertas barreras. «Las personas no deberán ser objeto de una decisión basada únicamente en el tratamiento automatizado (como algoritmos) y que sea jurídicamente vinculante o que les afecte significativamente», recuerda la Comisión Europea. La UE no permite crear sistemas de puntuación social ni de policía predictiva basada en perfiles (como el sistema de Chicago).

Aun así, esto no quiere decir que no se use la inteligencia artificial en cuestiones de seguridad. En España, por ejemplo, el Ministerio de Interior usa un algoritmo (VioGén) para prevenir el riesgo futuro para las mujeres víctimas de violencia de género.

LEER EL ARTÍCULO ORIGINAL PULSANDO AQUÍ

Fotografía: Ethic

Compartir 0 FacebookTwitterWhatsapp
RedaccionA

noticia anterior
El turismo como arma de la colonización, véase las empresas online
noticia siguiente
“Existe una red que disemina la desinformación desde distintos países, pero con una identidad ideológica común”

También le podría interesar

¿Mi jefe es un algoritmo?

mayo 16, 2025

El algoritmo o la fábrica: la clase obrera...

abril 24, 2025

Cuando despertamos, el algoritmo aún estaba ahí

noviembre 8, 2024

Visitantes en este momento:

937 Usuarios En linea
Usuarios: 301 Invitados,636 Bots

Blog: Perspectivas comunistas

Desde el Plantón magisterial en el Zócalo de la CDMX

Nuestras redes sociales

Blog de la Columna CORTOCIRCUITOS

Nuestros grupos de difusión

Artículos publicados por mes

Síguenos en Facebook

Síguenos en Facebook

Artículos por AUTORES

Artículos publicados por FECHA

junio 2025
L M X J V S D
 1
2345678
9101112131415
16171819202122
23242526272829
30  
« May    

Artículos más leídos esta semana

  • 1

    La CNTE y el acto de desenlatar la lucha de clases en México

    junio 6, 2025
  • 2

    Alto al ataque mediático contra la CNTE, magisterio, organizaciones y sindicatos

    junio 2, 2025
  • 3

    México. Maestros de la CNTE, continúa la huelga

    junio 4, 2025
  • 4

    ¡NO NOS VAMOS, SOLO NOS HACEMOS UN POCO MAS A LA IZQUIERDA!

    junio 6, 2025
  • 5

    Ante la ratificación del Director del Colegio Preparatorio de Xalapa por parte de la USICAMM la Dirección de Bachillerato lo “retira” de manera arbitraria. Comunidad escolar inicia protestas

    junio 3, 2025
  • 6

    Banco Azteca es premiado con 25 % de las AFORES: Pedro Hernández de la CNTE

    mayo 30, 2025
  • 7

    La CNTE: autonomía y movilización en el marco de una hegemonía progresista (3/3)

    junio 3, 2025
  • 8

    Daniela Griego, Presidenta Municipal electa de Xalapa. Recibe su constancia de mayoría

    junio 5, 2025
  • 9

    ¡Quién miente?, ¿la presidenta o la CNTE?

    junio 1, 2025
  • 10

    La CNTE: autonomía y movilización en el marco de una hegemonía progresista (2/3)

    junio 1, 2025
  • 11

    AFORES: un robo para los trabajadores. ¿Quiénes son y cuántas cuentas controlan?

    mayo 25, 2025
  • ¿Cuáles son los elementos de una historieta?

    febrero 15, 2017
  • 13

    EL PROBLEMA DE LA USICAMM ES… ¡TODO!

    mayo 31, 2025
  • 14

    La primavera no se alquila: dignidad magisterial y respeto a la historia

    mayo 30, 2025

Rolando Revagliatti. Argentina

Raúl Allain. Perú

Juan Antonio Guerrero O. México

Vanesa Monserrat. Argentina

Carolina Vásquez Araya

Ilka Oliva-Corado

Javier Tolcachier

Columna: CORTOCIRCUITOS

Manuel I. Cabezas González

Luis Armando González

Iliana Lo Priore

Jorge Salazar

Adolfo del Ángel Rodríguez

Oswualdo Antonio G.

José Eduardo Celis

Daniel Suárez

Güris J. Fry

Jorge Díaz Piña

Ángel Santiago Villalobos

Andrés Brenner

Alejandra Cortina

José Carlos Buenaventura

Luis Palacios

@2020 - Insurgencia Magisterial

Portal Insurgencia Magisterial
  • Inicio
  • Nosotros/Legal
  • Directorio
  • Alianzas
  • Columnistas
  • Voces que seguimos
  • Calendario de eventos
  • Educooperando
Portal Insurgencia Magisterial
  • Inicio
  • Nosotros/Legal
  • Directorio
  • Alianzas
  • Columnistas
  • Voces que seguimos
  • Calendario de eventos
  • Educooperando
@2020 - Insurgencia Magisterial

Leer también:x

¿Pueden los algoritmos ser más justos que...

febrero 15, 2022

¿El amor es un algoritmo?

agosto 15, 2020

Condenado por un algoritmo

octubre 25, 2021