Madrid, 17 de Mayo de 2023
Carta a la Presidencia Española del Consejo de la Unión Europea:
Garantizar la protección de los derechos fundamentales en el Reglamento de IA
Las organizaciones abajo firmantes le escribimos para llamar su atención sobre una serie de graves deficiencias en el Reglamento de Inteligencia Artificial (Reglamento de IA) (COM/2021/206) que actualmente está siendo negociado por la Presidencia sueca del Consejo de la Unión Europea y próximamente por la Presidencia española.
Esta carta se basa en la posición de 123 organizaciones de la sociedad civil que piden a la Unión Europea que ponga en primer plano un enfoque basado en los derechos fundamentales para el Reglamento de IA en 2021. El Reglamento de Inteligencia Artificial es un acto legislativo fundamental que tendrá un fuerte impacto en la población de la UE y, con toda probabilidad, también más allá de nuestras fronteras.
Algunas de nuestras preocupaciones se refieren a prácticas peligrosas que conducen a la vigilancia masiva sobre la población. Al fomentar la vigilancia masiva y amplificar algunas de las desigualdades sociales y desequilibrios de poder más profundos, los sistemas de IA están poniendo en grave peligro nuestros derechos fundamentales y los procesos y valores democráticos.
En particular, llamamos su atención sobre las protecciones esenciales de los derechos fundamentales que pueden mejorarse aún más durante las negociaciones de los llamados trílogos o diálogo a tres bandas. Dado el papel que desempeñará el Gobierno español a partir del 1 de julio de 2023 al asumir la Presidencia rotatoria del Consejo, y el interés mostrado ya por liderar la carrera de la Inteligencia Artificial en Europa, creemos que la Presidencia española debe asumir un papel asertivo y garantizar que la legislación sea a prueba de futuro y respetuosa con los derechos fundamentales.
Pedimos a la próxima Presidencia española y a los Estados miembros que garanticen que las siguientes características se reflejen en el texto final del Reglamento de IA:
1- Ampliar el listado de prohibiciones exhaustivas de aquellos sistemas de IA que supongan un «riesgo inaceptable» para los derechos fundamentales. Es vital que la lista del artículo 5 de «prácticas de IA prohibidas» se amplíe para abarcar todos los sistemas que se demuestre que plantean un riesgo inaceptable de vulnerar derechos y libertades fundamentales de las personas, afectando también de forma más general los principios fundacionales de la democracia. Como mínimo, las organizamos firmantes consideramos que se deberían prohibir totalmente:
- La identificación biométrica remota (RBI) en el espacio público que se aplique a todos los agentes, no sólo a los encargados de hacer cumplir la ley, así como sus usos tanto «en tiempo real» como «a posteriori» (sin excepciones);
- El uso de sistemas de IA por parte de las autoridades administrativas, policiales y judiciales para realizar predicciones, perfiles o evaluaciones de riesgo con el fin de predecir delitos;
- El uso de sistemas de evaluación y perfilado de riesgos individuales basados en la IA en el contexto de la migración; el análisis predictivo con fines de interdicción, restricción y prevención de la migración; y los polígrafos de IA para la prevención de la migración;
- El uso de sistemas de reconocimiento de emociones que pretenden inferir las emociones y los estados mentales de las personas;
- El uso de sistemas de categorización biométrica para rastrear, categorizar y juzgar a las personas en espacios de acceso público, o para categorizar a las personas en función de características protegidas;
- El uso de sistemas de IA que puedan manipular a las personas o tomar ventaja de contextos o situaciones de vulnerabilidad, de manera que puedan causar o tener el efecto de causar daños sobre ellas.
2- Eliminar cualquier tipo de discrecionalidad en el proceso de clasificación de sistemas de alto riesgo (artículo 6). La orientación general Consejo y las negociaciones en el Parlamento Europeo tienden a añadir capas en el proceso de clasificación de riesgos al exigir requisitos adicionales para que los sistemas de IA listados en el Anexo III sean considerados de alto riesgo. Esto complicaría gravemente el Reglamento de IA, dotaría de una discrecionalidad excesiva a los proveedores para decidir si el sistema es de alto riesgo o no, comprometería la seguridad jurídica y daría lugar a una gran fragmentación en la aplicación del Reglamento. Por ello, solicitamos:
- Que todos los sistemas de IA a los que se hace referencia en el Anexo III del Reglamento de IA sea considerados de alto riesgo, sin más.
3- Obligaciones significativas de rendición de cuentas y transparencia sobre los usos públicos de los sistemas de IA y sobre todos los » implementadores» de IA de alto riesgo. Para garantizar el máximo nivel de protección de los derechos fundamentales, quienes implementen sistemas de IA de alto riesgo (es decir, los «usuarios” » tal y como se los denomina en la propuesta original de la Comisión Europea y en la orientación general del Consejo de la UE, o los “implementadores” según podría acordarse en el Parlamento Europeo) deben facilitar información pública sobre el uso de dichos sistemas. Esta información es crucial para la rendición pública de cuentas, ya que permite a las organizaciones de interés público, a los investigadores y a las personas afectadas comprender el contexto en el que se utilizan los sistemas de alto riesgo. El Reglamento de IA debe incluir las siguientes obligaciones para los implementadores:
- Obligación de los implementadores de registrar todos los sistemas de IA de alto riesgo en la base de datos del artículo 60;
- La obligación de las autoridades públicas, o de quienes actúen en su nombre, de registrar todos los usos de los sistemas de IA en la base de datos del artículo 60, independientemente del nivel de riesgo;
- La obligación de los implementadores de sistemas de IA de alto riesgo de realizar y publicar en la base de datos del artículo 60 una evaluación del impacto sobre los derechos fundamentales (EIDF) antes de desplegar cualquier sistema de IA de alto riesgo;
- La obligación de los implementadores de sistemas de IA de alto riesgo de involucrar a la sociedad civil y demás partes afectadas en la evaluación del impacto sobre derechos fundamentales que deben realizar.
4– Derechos y mecanismos de reparación para empoderar a las personas afectadas por los sistemas de IA. Si bien hemos visto pasos positivos al reconocerse, por ejemplo, en la orientación general del Consejo la posibilidad de presentar reclamaciones ante autoridades públicas en caso de incumplimientos del Reglamento, estimamos que también es necesario reconocer otros derechos básicos que permitan a las personas afectadas por los sistemas de IA comprender, cuestionar y obtener reparaciones. Por ello, entendemos que el texto final del Reglamento debe incluir:
- El derecho a recibir, previa solicitud, una explicación clara e inteligible, incluso para los niños y niñas y en el idioma que se solicite, de forma accesible para las personas con discapacidad, sobre las decisiones adoptadas con la ayuda de los sistemas incluidos en el ámbito de aplicación del Reglamento de IA y sobre cómo funcionan dichos sistemas, incluido el derecho a objetar tales decisiones;
- El derecho de las personas a presentar una reclamación ante autoridades nacionales o entablar acciones legales en la justicia cuando un sistema o una práctica de IA los afecta;
- El derecho a un recurso judicial efectivo contra la autoridad nacional de supervisión o contra el implementador para hacer efectivos aquellos derechos que en virtud del Reglamento de IA hayan sido vulnerados;
- El derecho a acceder a mecanismos de reparación colectiva;
- El derecho de las organizaciones de interés público a presentar una denuncia ante una autoridad de control en caso incumplimientos al Reglamento o por sistemas de IA que atenten contra los derechos fundamentales o el interés público, y el derecho de las personas a ser representadas por tales organizaciones en la protección de sus derechos.
5- Los estándares técnicos no deben tratar cuestiones relacionadas con derechos fundamentales y deben incluir más representatividad y diversidad de organizaciones de la sociedad civil en su elaboración. Desde la sociedad civil manifestamos nuestra preocupación porque gran parte de la aplicación del Reglamento de IA -cuyo enfoque de riesgo deja casi sin regulación a la mayoría de los sistemas de IA (con excepción de los de alto riesgo, de las obligaciones adicionales de transparencia previstas para algunos sistemas y del debate sobre la IA generativa que ha tenido lugar recientemente)- dependerá del desarrollo de estándares técnicos y de su aplicación por parte de los fabricantes. Más, si se tiene en cuenta que los procesos de estandarización están fuertemente dominados por la industria, considerando su complejidad. Las organizaciones aquí firmantes manifiestan que no está claro cómo estos estándares podrían impactar en los derechos fundamentales de las personas (por ejemplo, en lo relativo a la ausencia de sesgos en los sistemas de IA). Por ello, creemos necesario que:
- Los estándares técnicos no sean utilizados para evaluar la posible afectación sobre los derechos fundamentales de las personas;
- Se pongan los medios y recursos necesarios para garantizar una mayor participación de la sociedad civil en los procesos de estandarización sobre el Reglamento de IA, que ya están teniendo lugar.
Nosotros, las organizaciones abajo firmantes solicitamos:
- La organización de una reunión de alto nivel con representantes de la sociedad civil antes del comienzo de la Presidencia española del Consejo de la Unión Europea, para asegurar que en los trílogos se refuercen y protejan adecuadamente los derechos fundamentales en el Reglamento de IA.
- Obtener garantías del Gobierno Español sobre cómo espera que se consigan los más altos niveles de protección de los derechos fundamentales en el texto final del Reglamento de IA, tal y como hemos señalado anteriormente en esta carta.
Organizaciones impulsoras: Lafede.cat, Algorace, Fundación Eticas, CIVIO, Observatorio Trabajo, Algoritmos y Sociedad; Algorights, Institut de Drets Humans de Catalunya, CECU.
Adhesiones
- #Lovetopia
- AAV – Associació Arxivers i Gestors de Documents Valencians
- Access Info Europe
- ACICOM (Associació Ciutadania i Comunicació)
- ACREDITRA
- Acurema, Asociación de Consumidores y Usuarios de Madrid
- AlgoRace
- Algorights
- Amnistía Internacional
- Archiveros Españoles en la Función Pública (AEFP)
- Asociación Científica ICONO 14
- Asociación de Consumidores de Gran Canaria -ACOGRAN-CECU
- ASOCIACIÓN DE USUARIOS DE LA COMUNICACIÓN (AUC)
- Associacions Federades de Famílies d’Alumnes de Catalunya (aFFaC)
- Calala Fondo de Mujeres
- Col·legi de Professionals de la Ciència Política i de la Sociologia de Catalunya
- CooperAcció
- DigitalFems
- Ecos do Sur
- Edualter
- EKA/ACUV ASOCIACION DE PERSONAS CONSUMIDORAS Y USUARIAS VASCA
- Elektronisk Forpost Norge
- enreda.coop
- Eticas
- European Center for Not-for-profit Law (ECNL)
- European Digital Rights (EDRi)
- European Network Against Racism (ENAR)
- Fair Trials
- Federación de Consumidores y Usuarios CECU
- Federación de Sindicatos de Periodistas (FeSP)
- Fundación Ciudadana Civio
- Fundación Hay Derecho (Hay Derecho Foundation)
- FUNDACIÓN PLATONIQ
- Grup Eirene
- Hay Derecho
- Institut de Drets Humans de Catalunya
- Irídia – Centre per la Defensa dels Drets Humans
- Irish Council for Civil Liberties (ICCL)
- Komons
- La Coordinadora de Organizaciones para el Desarrollo
- Lafede.cat – Organitzacions per la Justícia Global
- Mujeres Supervivientes de violencias de género.
- Novact
- Observatori del Treball, Algoritme i Societat (TAS)
- Observatori DESC
- Oxfam Intermon
- Panoptykon Foundation
- PLATAFORMA EN DEFENSA DE LA LIBERTAD DE INFORMACION (PDLI)
- Political Watch
- Reds – Red de solidaridad para la transformación Social (Barcelona – Catalunya)
- Rights International Spain
- SED Catalunya – Solidaritat Educació Desenvolupament
- SETEM Catalunya
- SOS Racisme Catalunya
- Statewatch
- SUDS – Associació Internacional de Solidaritat i Cooperació
- THE SCHOOL OF WE
- Unión de Consumidores de Las Palmas -UCONPA-CECU
- Unión Profesional
- Universidad Nacional de Educación a Distancia (UNED)
- Xnet