Top Posts
Un balance de la lucha de la CNTE:...
Asamblea de Daniel Noboa aprueba instalación de bases...
La (des)nazificación de Alemania
El sistema de castas y los dilemas de...
AgroALBA arrancó en Venezuela: estrategias solidarias para producir...
¡No en nuestro nombre! Manifiesto de feministas contra...
Presidente Maduro propone Escuela de Agricultura Regenerativa para...
EE. UU. vs. China: ¿quién manda en el comercio...
Entre el wokeismo y el populismo de derecha
PALESTINA Y LA SOLIDARIDAD INTERNACIONAL
  • Colectivo Insurgencia Magisterial
Portal Insurgencia Magisterial
Banner
  • Inicio
  • Nosotros/Legal
  • Directorio
  • Alianzas
  • Columnistas
  • Voces que seguimos
  • Calendario de eventos
  • Educooperando
Espacio principalEspacio secundario

Privacidad, seguridad y alucinaciones: los problemas de la IA que enfrentan las ‘Big Tech’

por RedaccionA octubre 24, 2023
octubre 24, 2023
784

Por: Melissa Heikkilä. 24/10/2023

Las empresas tecnológicas no han resuelto algunos de los problemas persistentes con los modelos lingüísticos de IA

Desde el comienzo del auge de la inteligencia artificial (IA) generativa, las empresas tecnológicas han tratado insistentemente de dar con la aplicación definitiva de esta tecnología. Primero fue la búsqueda online, con resultados desiguales. Ahora son los asistentes de IA. La semana pasada, OpenAI, Meta y Google lanzaron nuevas funciones para sus chatbots de IA que les permiten buscar en internet y actuar como un asistente personal.

OpenAI ha desvelado nuevas funciones de ChatGPT, como la posibilidad de mantener una conversación con el chatbot como si fuese una llamada telefónica, obteniendo al instante respuestas con una voz sintética muy realista, como ha informado mi colega Will Douglas Heaven. La empresa también ha revelado que ChatGPT podrá realizar búsquedas online.  

Bard, el bot rival de Google, está conectado a la mayor parte del ecosistema de la empresa, incluidos Gmail, Docs, YouTube y Maps. La idea es que la gente utilice el chatbot para hacer preguntas sobre su propio contenido, por ejemplo, haciendo que busque en sus correos electrónicos u organice su calendario. Bard también podrá recuperar información de Google Search de forma instantánea. En una línea similar, Meta también ha anunciado el lanzamiento de chatbots de IA para todo. Los usuarios podrán hacer preguntas a los chatbots y a los avatares de famosos en WhatsApp, Messenger e Instagram, y el modelo de IA recuperará información online de la búsqueda de Bing.

Es una apuesta arriesgada, dadas las limitaciones de la tecnología. Las empresas tecnológicas no han resuelto algunos de los problemas persistentes de los modelos lingüísticos de IA, como su propensión a inventarse cosas o “alucinar”. Sin embargo,  lo que más me preocupa es que son un desastre para la seguridad y la privacidad, como escribí a principios de este año. Las empresas tecnológicas están poniendo esta tecnología defectuosa en manos de millones de personas y permitiendo que los modelos de IA accedan a información sensible como sus correos electrónicos, calendarios y mensajes privados. Al hacerlo, nos están volviendo vulnerables a estafas, phishing y hackeos a gran escala.

Ya he tratado en otras ocasiones los problemas de seguridad que plantean los modelos lingüísticos de IA. Ahora que los asistentes de IA tienen acceso a información personal y pueden navegar al mismo tiempo por la web, son especialmente propensos a un tipo de ataque llamado inyección de prompt indirecta o prompt injection (PI). Es ridículamente fácil de ejecutar, y no hay solución conocida.

En un ataque de inyección de prompt indirecta, un tercero “altera una web añadiendo texto oculto que pretende cambiar el comportamiento de la IA”, como escribí en abril. “Los atacantes podrían utilizar las redes sociales o el correo electrónico para dirigir a los usuarios a webs con estos indicaciones secretas. Cuando eso sucede, el sistema de IA podría ser manipulado para permitir que el atacante intente extraer la información de la tarjeta de crédito de la gente, por ejemplo”. Con esta nueva generación de modelos de IA conectados a las redes sociales y al correo electrónico, las oportunidades para los hackers son infinitas.

Pregunté a OpenAI, Google y Meta qué están haciendo para defenderse de los ataques de inyección de prompt y las alucinaciones. Meta no respondió a tiempo para su publicación, y OpenAI no hizo ningún comentario oficial.

En cuanto a la propensión de la IA a inventarse cosas, un portavoz de Google afirmó que la empresa estaba lanzando Bard como un “experimento”, y que permite a los usuarios comprobar los hechos de las respuestas del chatbot utilizando la búsqueda de Google. “Si los usuarios ven una alucinación o algo que no es exacto, les animamos a que pulsen el botón de pulgar hacia abajo y nos den su opinión. Es una forma de que Bard aprenda y mejore”, afirma el portavoz. Por supuesto, este enfoque hace que la responsabilidad de detectar el error recaiga en el usuario, y la gente tiende a confiar demasiado en las respuestas generadas por un ordenador.

En cuanto a la inyección de prompt, Google confirmó que no es un problema resuelto y que sigue siendo un área activa de investigación. El portavoz comentó que la empresa está utilizando otros sistemas, como filtros de spam, para identificar y filtrar los intentos de ataque. Además, está llevando a cabo pruebas de adversarios y ejercicios de ataques falsos para identificar cómo los actores maliciosos podrían atacar los productos construidos sobre modelos de lenguaje. “Estamos utilizando modelos especialmente entrenados para ayudar a identificar entradas y salidas inseguras conocidas que violan nuestras políticas”, mencionó el portavoz. 

Entiendo que siempre habrá problemas iniciales con el lanzamiento de un nuevo producto. Sin embargo, ya es mucho decir que ni siquiera los primeros defensores de productos con modelos lingüísticos de IA han quedado tan impresionados. Kevin Roose, columnista de The New York Times, descubrió que el asistente de Google era bueno resumiendo correos electrónicos, pero también le habló de correos que no estaban en su bandeja de entrada.

En resumen, Las empresas tecnológicas no deberían ser tan complacientes con la supuesta “inevitabilidad” de las herramientas de IA. La gente corriente no tiende a adoptar tecnologías que siguen fallando de forma molesta e impredecible, y es sólo cuestión de tiempo que veamos a los hackers utilizar estos nuevos asistentes de IA de forma maliciosa. Ahora mismo, todos somos presa fácil.

No sé tú, pero yo pienso esperar un poco más antes de dejar que esta generación de sistemas de IA husmee en mi correo electrónico.

LEER EL ARTÍCULO ORIGINAL PULSANDO AQUÍ

Fotografía: Technology review

Compartir 0 FacebookTwitterWhatsapp
RedaccionA

noticia anterior
Sierra de Manantlán: territorio indígena marcado por la minería de hierro y el narcotráfico
noticia siguiente
México rebasa las 5,600 fosas clandestinas

También le podría interesar

China. De Confucio a la IA: el país...

junio 7, 2025

Pensamiento crítico. Cara y ceca de la Inteligencia...

junio 6, 2025

Con la IA, uno de cada cuatro empleos...

junio 3, 2025

Visitantes en este momento:

741 Usuarios En linea
Usuarios: 224 Invitados,517 Bots

Blog: Perspectivas comunistas

Desde el Plantón magisterial en el Zócalo de la CDMX

Nuestras redes sociales

Blog de la Columna CORTOCIRCUITOS

Nuestros grupos de difusión

Artículos publicados por mes

Síguenos en Facebook

Síguenos en Facebook

Artículos por AUTORES

Artículos publicados por FECHA

junio 2025
L M X J V S D
 1
2345678
9101112131415
16171819202122
23242526272829
30  
« May    

Artículos más leídos esta semana

  • 1

    Del Acuerdo Educativo Nacional al Plan de estudios 2022.

    septiembre 13, 2022
  • 2

    Luce, la polémica “mascota” con que El Vaticano busca acercarse a los jóvenes

    noviembre 16, 2024
  • 3

    Incongruencias de la NEM de Marx Arriaga: luchar contra el neoliberalismo promoviendo un concurso de Círculos de estudio sobre Freire, con premios de 10 mil pesos a los ganadores y con mecanismos de exclusión

    septiembre 25, 2024
  • 4

    Milei, una bomba de tiempo.

    diciembre 3, 2023
  • 5

    La Casa de los Famosos: ¿es posible no mirar?

    septiembre 19, 2024
  • 6

    Geopolítica del despojo: biopiratería, genocidio y militarización

    noviembre 8, 2023
  • 7

    Pako Belmonte: «Necesitamos la complicidad de la gente para defender la función social de las bibliotecas públicas y evitar recortes»

    noviembre 8, 2023
  • 8

    “Satena es un fracaso”, le dice Petro al ministro Bonilla, a quien le tocó el regaño

    marzo 1, 2024
  • 9

    Suspensión del trigo HB4 por vía judicial: ¿cómo llegamos hasta acá?

    agosto 25, 2022
  • 10

    Muere lentamente la Educación Especial en Veracruz.

    septiembre 8, 2018
  • 11

    Viejos y nuevos clivajes de la desigualdad educativa en Iberoamérica

    octubre 23, 2019
  • Rusia no busca conflicto pero defenderá sus intereses.

    febrero 20, 2017
  • En busca del pensamiento crítico perdido.

    enero 10, 2018
  • Agonistas de la educación: epístola a la clase capitalista transnacional [1]

    diciembre 28, 2016

Rolando Revagliatti. Argentina

Raúl Allain. Perú

Juan Antonio Guerrero O. México

Vanesa Monserrat. Argentina

Carolina Vásquez Araya

Ilka Oliva-Corado

Javier Tolcachier

Columna: CORTOCIRCUITOS

Manuel I. Cabezas González

Luis Armando González

Iliana Lo Priore

Jorge Salazar

Adolfo del Ángel Rodríguez

Oswualdo Antonio G.

José Eduardo Celis

Daniel Suárez

Güris J. Fry

Jorge Díaz Piña

Ángel Santiago Villalobos

Andrés Brenner

Alejandra Cortina

José Carlos Buenaventura

Luis Palacios

@2020 - Insurgencia Magisterial

Portal Insurgencia Magisterial
  • Inicio
  • Nosotros/Legal
  • Directorio
  • Alianzas
  • Columnistas
  • Voces que seguimos
  • Calendario de eventos
  • Educooperando
Portal Insurgencia Magisterial
  • Inicio
  • Nosotros/Legal
  • Directorio
  • Alianzas
  • Columnistas
  • Voces que seguimos
  • Calendario de eventos
  • Educooperando
@2020 - Insurgencia Magisterial

Leer también:x

La IA podría generar una enorme huella...

junio 2, 2024

¡Y llegó DeepSeek!

febrero 16, 2025

¿Hacia una plataformización de las IA?

abril 27, 2025