La Ley de IA de la UE fracasa en garantizar la protección de los derechos humanos

27/05/2024 / ,

Publicado originalmente el 3 abril de 2024 en inglés.

Durante los últimos tres años, hemos trabajado en coalición como una amplia gama de organizaciones de derechos humanos y digitales y de justicia social para exigir que la inteligencia artificial (IA) esté al servicio de las personas, priorizando la protección de los derechos humanos fundamentales. Hemos expuesto nuestra visión colectiva para promover un enfoque en el que “centrarse en lo humano” no sea solo una frase de moda, las personas migrantes sean tratadas con dignidad y los legisladores sean lo suficientemente audaces como para trazar líneas rojas contra usos inaceptables de los sistemas de IA.

Tras un agotador proceso de negociación , se espera que las instituciones de la UE adopten de manera definitiva la Ley de IA en abril de 2024. Pero mientras lo celebran, nosotras adoptamos una postura mucho más crítica y ponemos el foco en las muchas oportunidades perdidas para garantizar que nuestros derechos a la privacidad, la igualdad, la no discriminación, la presunción de inocencia y muchos otros derechos y libertades tengan protección en el ámbito de la IA. Aquí está nuestro resumen de cómo la ley final perjudica nuestras demandas colectivas.

Nota: Este análisis se basa en la última versión disponible del texto de la Ley de IA, con fecha 6 de marzo de 2024. Es posible que se realicen pequeños cambios antes de la adopción final de la ley.

En primer lugar, pedimos a los legisladores de la UE que empoderaran a las personas afectadas defendiendo un marco de rendición de cuentas, transparencia, accesibilidad y reparación. ¿Qué hicieron?

Eliminaron algunas barreras de accesibilidad, pero es necesario hacer más:

  • El artículo 16 de la Ley de IA cumple con nuestra reclamación de accesibilidad al establecer que los sistemas de IA de alto riesgo deben cumplir requisitos de accesibilidad. Sin embargo, creemos que estos requisitos deberían ampliarse para aplicarse también a sistemas de IA de riesgo bajo y medio, a fin de garantizar que las necesidades de las personas con discapacidad sean centrales en el desarrollo de todos los sistemas de IA que pueden afectarles.

Habrá más transparencia sobre ciertas implementaciones de IA, pero se mantienen grandes lagunas para el sector privado y los organismos de seguridad:

  • La Ley de IA establece una base de datos de la UE de acceso público para brindar transparencia sobre los sistemas de IA que plantean mayores riesgos para los derechos o la seguridad de las personas. En principio, solo los proveedores de IA de alto riesgo estaban sujetos a requisitos de transparencia. Conseguimos persuadir con éxito a los legisladores para que los implementadores de estos sistemas de IA —quienes los usen realmente— también estén sujetos a obligaciones de transparencia.
  • Estos proveedores e implementadores estarán sujetos a obligaciones de transparencia si ponen en el mercado o utilizan sistemas de IA en ámbitos de alto riesgo —como empleo y educación— según lo designado en el Anexo III. Los proveedores deberán registrar sus sistemas de alto riesgo en la base de datos y aportar información sobre ellos, incluyendo descripciones de su finalidad prevista, de la información que utiliza el sistema y de su lógica de funcionamiento. Los implementadores de sistemas de IA de alto riesgo que sean autoridades públicas —o que actúen en su nombre— estarán obligados a registrar su uso. Se les pedirá que incluyan en la base de datos información como, por ejemplo, un resumen de los resultados de la evaluación de impacto sobre los derechos fundamentales (FRIA) y otro resumen de la evaluación de impacto de la protección de datos. No obstante, los implementadores de sistemas de alto riesgo en el sector privado no estarán obligados a registrarlos en la base de datos — otra cuestión crítica.
  • La principal deficiencia de la base de datos de la UE es que durante las negociaciones se acordó excluir a los cuerpos de seguridad y a las autoridades de inmigración, asilo y control de fronteras. Los proveedores e implementadores de sistemas de alto riesgo en estos ámbitos tendrán que registrar muy poca información, y además en una sección de la base de datos que no será de acceso público. Hay datos importantes, como los datos de entrenamiento utilizados, que no serán divulgados. Esto supondrá que ni las personas afectadas, ni la sociedad civil, periodistas o académicos podrán ejercer el escrutinio público en estos ámbitos, que son proclives a violaciones de derechos fundamentales, ni podrán exigir responsabilidades.

Se incluyen evaluaciones de impacto sobre los derechos fundamentales, pero su alcance sigue siendo preocupante:

  • Conseguimos convencer a las instituciones de la UE de la necesidad de hacer evaluaciones de impacto en los derechos fundamentales (FRIA). Sin embargo, viendo el texto final de la Ley de IA, tenemos dudas sobre si evitarán realmente las violaciones de derechos humanos y servirán como una herramienta eficaz de rendición de cuentas. Vemos tres deficiencias principales.
    1. Falta de evaluación significativa y de obligación de prevenir impactos negativos: mientras que las nuevas reglas requieren que los implementadores de sistemas de IA de alto riesgo enumeren los riesgos de daños para las personas, no existe ninguna obligación explícita de evaluar si estos riesgos son aceptables en cuanto a los derechos fundamentales, ni de impedirlos cuando sea posible. Lamentablemente, los implementadores sólo tienen que especificar qué medidas se tomarán una vez que los riesgos se materialicen, cuando el daño ya haya sido causado.
    2. No se obliga a que haya participación de las partes interesadas: el requisito de involucrar a la sociedad civil y a las personas afectadas por la IA en la evaluación fue eliminado de la ley en las últimas etapas de las negociaciones. Esto significa que las organizaciones de la sociedad civil no tendrán una manera directa y legalmente vinculante de contribuir a las evaluaciones de impacto.
    3. Excepciones de transparencia para las fuerzas de seguridad y el control migratorio: los implementadores de sistemas de IA de alto riesgo no tendrán que publicar el resumen de su evaluación de impacto (FRIA) en estos casos. El público ni siquiera tendrá acceso a la mera información que una autoridad está utilizando un sistema de inteligencia artificial de alto riesgo. La información relacionada con el uso de IA en estos ámbitos solo se incluirá en un base de datos no pública, lo que limita gravemente la supervisión y el escrutinio constructivo. Se trata de un hecho muy preocupante ya que los riesgos para los derechos humanos, el espacio público y la legalidad son probablemente los más graves en estas dos áreas. Además, mientras los implementadores están obligados a notificar a la autoridad de vigilancia del mercado pertinente el resultado de su FRIA, existe una exención por “razones excepcionales de seguridad pública”. Es la misma excusa que se utiliza a menudo como justificación para llevar a cabo acciones de gestión policial y fronteriza desproporcionadas.

En cuanto a quejas y reparaciones, existen algunos avances, pero no hay reconocimiento claro de las “personas afectadas”:

  • La sociedad civil ha abogado por derechos sólidos y mecanismos de reparación para personas y grupos afectados por sistemas de IA de alto riesgo. Hemos exigido la creación de una nueva sección titulada ‘Derechos de las personas afectadas’, que describiría derechos específicos y resarcimiento. La sección no ha sido creada y, en su lugar, tenemos un capítulo de corrección y reparación que incluye solo algunas de nuestras demandas.
  • Este capítulo incluye el derecho a presentar quejas ante una autoridad de vigilancia del mercado, pero carece de calado, ya que aún no está claro con qué eficacia las autoridades podrán hacer exigir el cumplimiento y responsabilizar a los infractores. De manera similar, el derecho a recibir una explicación de los procesos de toma de decisiones, particularmente para los sistemas de IA catalogados como de alto riesgo, plantea dudas sobre la practicidad y la accesibilidad para obtener explicaciones significativas por parte de los implementadores. Además, la eficacia de estos mecanismos en la práctica es incierta, dada la ausencia de disposiciones como el derecho de representación de las personas físicas, o la capacidad de que las organizaciones de interés público presenten quejas ante los órganos de supervisión nacionales.

En cuanto a quejas y reparaciones, existen algunos avances, pero no hay reconocimiento claro de las “personas afectadas”:

  • La sociedad civil ha abogado por derechos sólidos y mecanismos de reparación para personas y grupos afectados por sistemas de IA de alto riesgo. Hemos exigido la creación de una nueva sección titulada ‘Derechos de las personas afectadas’, que describiría derechos específicos y resarcimiento. La sección no ha sido creada y, en su lugar, tenemos un capítulo de corrección y reparación que incluye solo algunas de nuestras demandas.
  • Este capítulo incluye el derecho a presentar quejas ante una autoridad de vigilancia del mercado, pero carece de calado, ya que aún no está claro con qué eficacia las autoridades podrán hacer exigir el cumplimiento y responsabilizar a los infractores. De manera similar, el derecho a recibir una explicación de los procesos de toma de decisiones, particularmente para los sistemas de IA catalogados como de alto riesgo, plantea dudas sobre la practicidad y la accesibilidad para obtener explicaciones significativas por parte de los implementadores. Además, la eficacia de estos mecanismos en la práctica es incierta, dada la ausencia de disposiciones como el derecho de representación de las personas físicas, o la capacidad de que las organizaciones de interés público presenten quejas ante los órganos de supervisión nacionales.

La ley permite un doble rasero en materia de los derechos humanos de las personas que están fuera de la UE:

  • La Ley de IA no satisface la demanda de la sociedad civil de garantizar que los proveedores de IA con sede en la UE estén sujetos a los mismos requisitos en el caso de que sus sistemas afecten a personas fuera de la UE. No les impide exportar sistemas de IA que están prohibidos en la UE, creando por lo tanto un enorme riesgo de violar derechos de personas de otros países mediante tecnologías fabricadas aquí que son esencialmente incompatibles con los derechos humanos. Además, no exige que los sistemas exportados de alto riesgo sigan salvaguardias técnicas, de transparencia ni de ningún tipo, lo que nuevamente pone en riesgo los derechos de personas fuera de la UE.

En segundo lugar, instamos a los legisladores de la UE a limitar la vigilancia discriminatoria por parte de los cuerpos policiales y de las autoridades de seguridad nacional y control migratorio. ¿Qué hicieron?

La exención general para la seguridad nacional corre el riesgo de socavar otras reglas:

  • La Ley de IA y sus garantías no se aplicarán a los sistemas de IA si se desarrollan o utilizan únicamente con fines de seguridad nacional, e independientemente de si lo hace un autoridad pública o una empresa privada. Esta exención introduce una importante laguna jurídica que eximirá automáticamente a algunos sistemas de IA del escrutinio y limitará la aplicabilidad de las garantías de derechos humanos previstas en la ley.
  • En términos prácticos, significa que los gobiernos podrían invocar la seguridad nacional para introducir sistemas biométricos de vigilancia masiva sin tener que aplicar ninguna garantía prevista en la Ley de IA, sin llevar a cabo una evaluación de impacto en los derechos fundamentales y sin garantizar que el sistema de IA cumpla con altos estándares técnicos y no discrimine a determinados grupos.
  • Una exención tan amplia no está justificada por los tratados de la UE y va en contra de la jurisprudencia establecida por el Tribunal de Justicia de la Unión Europea. Aunque la seguridad nacional pueda ser un motivo justificado para algunas excepciones, debe evaluarse caso por caso, de conformidad con la Carta de los Derechos Fundamentales de la UE. El texto adoptado, sin embargo, convierte la seguridad nacional en un área en gran medida libre de derechos digitales. Nos preocupa la falta de procedimientos claros a nivel estatal para verificar si la amenaza a la seguridad nacional invocada por el gobierno es lo suficientemente legítima y seria como para justificar el uso del sistema de IA, y si este se desarrolla y utiliza respetando los derechos fundamentales. La UE también ha sentado un precedente preocupante a nivel regional y global; ya se han introducido amplias exenciones de seguridad en el recién adoptado Convenio del Consejo de Europa sobre la IA.

La vigilancia policial predictiva, el reconocimiento facial en espacios públicos en tiempo real, la categorización biométrica y el reconocimiento de emociones se prohíben solo de manera parcial, lo que legitima estas peligrosas prácticas:

  • Ya demandamos prohibiciones integrales contra cualquier uso de IA que no sea compatible con derechos y libertades, como la proclamada “lectura de la mente” por IA y sistemas de vigilancia biométrica que nos tratan como códigos de barras ambulantes, o que se usen algoritmos para decidir si somos inocentes o culpables. Estos ejemplos ahora están parcialmente prohibidos en la ley, lo cual es una señal de que la UE está dispuesta a trazar líneas rojas contra usos inaceptablemente dañinos de la IA.
  • Al mismo tiempo, todas estas prohibiciones contienen importantes y decepcionantes lagunas, lo que significa que no alcanzarán su máximo potencial. En algunos casos, estas lagunas corren el riesgo de tener el efecto contrario al que debería tener una prohibición: lanzan el mensaje de que algunas formas de vigilancia biométrica masiva y de discriminación impulsada por IA son legítimas en la UE, lo que corre el riesgo de sentar un peligroso precedente global.
  • Por ejemplo, el hecho de que los sistemas de reconocimiento de emociones y la categorización biométrica estén prohibidos en el lugar de trabajo y en entornos educativos, pero permitidos para uso de autoridades policiales y de inmigración, indica la voluntad de la UE de probar los sistemas de vigilancia más abusivos e intrusivos contra la población más marginalizada.
  • Además, cuando se trata de reconocimiento facial en espacios públicos en tiempo real, la ley allana el camino para legalizar algunos usos específicos en la UE — a pesar de que nuestro análisis muestra que todos los usos de estos sistemas en el espacio público constituyen una violación inaceptable de los derechos y libertades de todos.

Los graves daños del reconocimiento facial ex post (en diferido) se ignoran en gran medida:

  • En lo que respecta al reconocimiento facial retrospectivo, esta práctica no está prohibida en absoluto por la Ley de IA. Como hemos explicado, el uso del reconocimiento facial ex post (en diferido) y otros sistemas de vigilancia biométrica (llamados “identificación biométrica remota”, o “RBI” por sus siglas en inglés) son tan invasivos y violadores de derechos como los sistemas en tiempo real. La Ley de IA comete un gran error al afirmar que el tiempo extra para usos en diferido mitigará posibles daños.
  • Si bien varios legisladores han argumentado que lograron insertar algunas garantías, nuestro análisis es que no son lo suficientemente significativas y que podrían ser fácilmente burladas por la Policía. En un apartado de la ley, la supuesta garantía sugiere incluso que una simple sospecha de que se ha cometido un delito sería suficiente para justificar el uso de un sistema RBI: un umbral más bajo del que nos beneficiamos actualmente según ley de protección de la UE.

Las personas migrantes no tienen los mismos derechos que el resto, solo cuentan con normas débiles —y a veces inexistentes— sobre el uso de la IA en las fronteras y en contextos migratorios:

  • En su versión final, la ley sienta un precedente peligroso para el uso de tecnología de vigilancia contra personas marginalizadas, migrantes o en contexto migratorio. La legislación desarrolla un marco legal separado para el uso de la IA por parte de las autoridades de control migratorio, a fin de permitir la prueba y el uso de peligrosas tecnologías de vigilancia en las fronteras de la UE, y desproporcionadamente contra personas racializadas.
  • Ninguna de las prohibiciones se aplica significativamente al contexto migratorio, y la obligación de transparencia presenta exenciones ad hoc para las autoridades de inmigración, permitiéndoles actuar con impunidad y lejos del escrutinio público.
  • La lista de sistemas de alto riesgo no recoge los muchos sistemas de IA utilizados en el contexto migratorio, ya que omite sistemas peligrosos como los sistemas de identificación biométrica no remotos, escáneres de huellas dactilares o herramientas de predicción utilizadas para prever, prohibir y restringir la migración.
  • Por último, los sistemas de IA utilizados en las bases de datos de gran escala sobre migración (por ejemplo, Eurodac, el Sistema de Información de Schengen y ETIAS) no tendrán que cumplir con la regulación hasta 2030, lo que da mucho tiempo para normalizar el uso de tecnologías de vigilancia.

En tercer lugar, instamos a los legisladores de la UE a hacer frenar el lobby de las grandes tecnológicas y abordar los impactos ambientales. ¿Qué hicieron?

La clasificación de riesgos se ha convertido en un ejercicio de autorregulación:

  • Inicialmente, todos los casos de uso incluidos en la lista de alto riesgo tenían que seguir obligaciones específicas. Sin embargo, como resultado del intenso lobby de la industria, ahora los proveedores podrán decidir si sus sistemas son de alto riesgo o no, como un “filtro” adicional para ese sistema de clasificación.
  • Los proveedores todavía tendrán que registrar suficiente documentación en la base de datos pública para explicar por qué no consideran que su sistema sea de alto riesgo. Sin embargo, esta obligación no existirá cuando proporcionen sistemas a las fuerzas de seguridad y de control migratorio. Esto allanará el camino para la contratación gratuita y desregulada de vigilancia en los contextos policial y fronterizo.

La Ley da solo un primer paso incierto para abordar los impactos ambientales de la IA:

  • Compartimos serias preocupaciones sobre cómo el uso exponencial de los sistemas de IA puede tener impactos severos en el medio ambiente, incluyendo el consumo de recursos naturales, la minería extractiva y el alto requerimiento de electricidad del procesamiento. Hoy en día, la información sobre los impactos ambientales de la IA es un secreto corporativo celosamente guardado. Esto dificulta la evaluación de los daños ambientales de la IA y el desarrollo de soluciones políticas para reducir las emisiones de carbono y otros impactos negativos.
  • El primer borrador de la Ley de IA descuidó por completo estos riesgos, a pesar de que la sociedad civil y muchos investigadores piden repetidamente que el consumo de energía de los sistemas de IA se haga transparente. Para abordar este problema, la Ley de IA exige ahora que los proveedores de modelos de IA de propósito general, que se entrenan con grandes cantidades de datos y consumen mucha electricidad, documenten su consumo de energía. La Comisión tiene ahora la tarea de desarrollar una metodología adecuada para medir el consumo de energía de manera comparable y verificable.
  • La Ley de IA también exige que se estandaricen los procedimientos de presentación de informes y se deben crear mecanismos de documentación para garantizar el uso eficiente de los recursos por parte de algunos sistemas de IA. Estos procedimientos deberían ayudar a reducir el consumo de energía y de otros recursos durante su ciclo de vida de los sistemas de IA de alto riesgo. Estas normas también pretenden promover el desarrollo energéticamente eficiente de modelos de IA de propósito general.
  • Estos estándares de presentación de informes son un primer paso crucial para brindar transparencia básica sobre algunos impactos ecológicos de la IA, en primer lugar, el uso de energía. Pero solo sirven como punto de partida para enfoques políticos más integrales que aborden todos daños ambientales a lo largo del proceso de producción de IA, como el gasto de agua y de minerales. No podemos confiar en la autorregulación, dada la rapidez con la que está evolucionando la crisis climática.

¿Qué va a ocurrir ahora con la Ley de IA?

El próximo año será decisivo, con diferentes instituciones de la UE, parlamentos estatales e incluso representantes de empresas que definirán estándares, publicarán directrices interpretativas e impulsarán la implementación de la ley en todos los países miembros de la UE. Algunas partes de la ley —las prohibiciones— podrían entrar en vigor ya en noviembre. Por tanto, es vital que los grupos de la sociedad civil tengan un asiento en la mesa, y que este trabajo no sea hecho en entornos opacos y a puerta cerrada.

Instamos a los legisladores de todo el mundo que también están considerando introducir normativas sobre IA a que aprendan de los numerosos errores de la UE descritos anteriormente. Un conjunto significativo de protecciones debe garantizar que las reglas de IA realmente funcionen para los individuos, las comunidades, la sociedad, el estado y los principios de derecho, y el planeta.

Si bien este largo capítulo de la elaboración de la ley está llegando a su fin, el próximo capítulo, el de implementar —y tratar de obtener el mayor número posible de beneficios—, es simplemente un comienzo. Como grupo, estamos redactando una guía de implementación para la sociedad civil, que se publicará a lo largo de este año. Queremos expresar nuestro agradecimiento a todo el grupo de incidencia en la Ley de IA, que ha trabajado incansablemente durante más de tres años para analizar, defender y movilizar. Particularmente, agradecemos el trabajo, dedicación y visión de Sarah Chander, de Equinox Racial Justice Institute, por su liderazgo de este grupo en los últimos tres años.

Para más información sobre puntos de vista y análisis del texto final de la Ley de IA, puedes mirar estos enlaces:

Contribuciones a este análisis conjunto

  • Ella Jakubowska, European Digital Rights (EDRi)
  • Kave Noori, European Disability Forum (EDF)
  • Mher Hakobyan, Amnesty International
  • Karolina IwanJska, European Center for Not-for-profit Law (ECNL)
  • Kilian Vieth-Ditlmann, AlgorithmWatch
  • Nikolett Aszodi, AlgorithmWatch
  • Judith Membrives Llorens, Lafede.cat / Algorights
  • Caterina Rodelli, Access Now
  • Daniel Leufer, Access Now
  • Nadia Benaissa, Bits of Freedom
  • Ilaria Fevola, ARTICLE 19
  • Con el trabajo, el apoyo y la colaboración de todas las organizaciones de nuestra coalición.