Fuente: newtral
Se prohíbe la vigilancia biométrica, el reconocimiento de emociones por IA y los sistemas policiales predictivos. Las IA generativas tendrán requerimientos adicionales de transparencia.
El Parlamento Europeo ha presentado la propuesta de su ley de Inteligencia Artificial, la primera en el mundo. La UE, que llevaba dos años preparando este texto, ha introducido cambios tras la explosión de los últimos desarrollos de IA generativas, como ChatGPT o Midjourney. La popularización de estas IA ha abierto un gran debate sobre la desprotección de los usuarios ante cuestiones de privacidad, desinformación, o de la propiedad intelectual de los materiales utilizados para el entrenamiento de estos modelos.
Esta propuesta de ley recibe mucha atención. Desde prensa del Parlamento Europeo comentan que la rueda de prensa con los ponentes, Brando Benifei y Dragos Tudorache, con más de 100 periodistas acreditados, ha sido una de las más concurridas en mucho tiempo. El texto de la futura Ley de IA ha sido aprobado en votación con una mayoría amplia —84 votos a favor, siete en contra y 12 abstenciones— en una sesión conjunta de las comisiones de Libertades Civiles y Mercado Interior. No es un texto estrictamente final, pero ya contiene la propuesta legislativa de la UE para la IA.
Las enmiendas que se han introducido dejan un texto que será ratificado en votación en pleno del Parlamento este junio, y que todavía puede sufrir algunos cambios durante los trílogos. Estas son las negociaciones entre las instituciones europeas, la Comisión, el Parlamento y la Presidencia del Consejo, que España ejercerá en el segundo semestre de 2023. Se espera que la normativa se apruebe hacia final de año.
En la rueda de prensa previa a la votación de la propuesta se preguntó si en vistas del inminente viaje de Sam Altman, CEO de OpenAI, a Europa, se le ha convocado para algún encuentro por parte de las instituciones de la UE. Benifei y Tudorache manifestaron no tener información al respecto.
Una ley que clasifica los riesgos de la IA
Conscientes de la rápida evolución de la tecnología, los legisladores europeos optan por regular los usos y no las tecnologías concretas en la ley, como explicamos ya en Newtral, para evitar que una normativa de esta escala pudiera quedar obsoleta casi al nacer.
Esta ley de IA se basa para ello en una clasificación de los riesgos que la inteligencia artificial podría suponer para la seguridad, la salud o los derechos fundamentales de una persona en cada caso, y determina obligaciones para proveedores y usuarios.
El marco incluye cuatro niveles de riesgo: inaceptable, alto, limitado y mínimo.
Prácticas prohibidas en la ley de IA
Los sistemas de IA con un nivel de riesgo inaceptable para la seguridad de las personas estarán estrictamente prohibidas en la Unión Europea. Aquí se incluye a aquellos sistemas que desplieguen técnicas manipulativas, que exploten vulnerabilidades de las personas o que sean utilizadas para usos intrusivos y discriminatorios.
Las enmiendas aprobadas incluyen la prohibición del social scoring, es decir clasificar a las personas basándose en su comportamiento social, su estatus socioeconómico y sus características personales. Además se amplía prohibir la identificación biométrica no sólo a gobiernos o autoridades públicas, sino también a entidades privadas.
Esta será la lista de las prácticas de IA prohibidas en la UE:
- La identificación biométrica a distancia, como el reconocimiento facial, en tiempo real, en espacios de acceso público. Las organizaciones de derechos humanos consideran esta prohibición un paso positivo, ya que esta tecnología es demasiado invasiva y atenta contra derechos fundamentales. Esta prohibición tiene algunas excepciones como cuando sea para buscar a víctimas de un delito, la prevención de una amenaza específica inminente para la vida o la seguridad física de las personas o de un atentado terrorista, o cuando se utilice para perseguir delitos con penas de prisión de más de tres años en el Estado miembro implicado.
- La identificación biométrica a distancia de forma retroactiva, con la única excepción de las fuerzas de seguridad para la persecución de delitos graves y sólo previa autorización judicial.
- La puntuación social (social scoring) cuando la utilicen entidades privadas, que es cuando un sistema de IA evalúa la fiabilidad de un individuo basándose en su comportamiento social o en sus preferencias, emociones, salud o inteligencia. “Una práctica demasiado invasiva y arbitraria para ser usada en los consumidores”, dicen desde BEUC.
- Sistemas policiales predictivos basados en perfiles, localización o comportamientos delictivos anteriores.
- Sistemas de reconocimiento de emociones en las fuerzas de seguridad, la gestión de fronteras, el lugar de trabajo y las instituciones educativas.
- Extracción indiscriminada de datos biométricos de redes sociales o grabaciones de CCTV para crear bases de datos de reconocimiento facial (violación de los derechos humanos y del derecho a la intimidad).
- El uso de técnicas subliminales que trasciendan la conciencia de una persona para alterar su comportamiento de un modo que provoque perjuicios físicos o psicológicos a esa u otra persona.
- La IA que aproveche alguna de las vulnerabilidades de un grupo específico de personas debido a su edad o discapacidad física o mental para alterar su comportamiento para provocar perjuicios físicos o psicológicos.
- La utilización de sistemas de IA por parte de las autoridades públicas con el fin de evaluar o clasificar la fiabilidad de personas físicas durante un período determinado de tiempo atendiendo a su conducta social o a características de su personalidad conocidas o predichas, de forma que la clasificación social resultante provoque un trato perjudicial contra determinadas personas o colectivos en contextos sociales diferentes o que sea desproporcionado con respecto a su comportamiento social.
Los sistemas de alto riesgo y la peligrosa laguna del artículo 6
En la escala, a las prácticas prohibidas le siguen los sistemas de alto riesgo, que están permitidos, pero empresas y usuarios deben cumplir pruebas rigurosas, documentación adecuada de la calidad de los datos y un marco de rendición de cuentas que detalle la supervisión humana.
La IA considerada de alto riesgo incluye vehículos autónomos, dispositivos médicos y maquinaria de infraestructuras críticas, por ejemplo. Los eurodiputados ampliaron la clasificación para incluir daños a la salud, la seguridad, los derechos fundamentales o el medio ambiente. Se han añadido dos casos: los sistemas de IA para influir en los votantes en las campañas políticas y los sistemas de recomendación utilizados por las plataformas de redes sociales (aquellas con más de 45 millones de usuarios según la Ley de Servicios Digitales).
Aunque esta clasificación ha sido calificada positivamente por organizaciones de derechos humanos y expertos en IA, varios ven una laguna en el artículo 6, que puede dar por tierra con las reglas de esta normativa.
Daniel Leufer, de Access Now, explica que el Parlamento, presionado por el Grupo Popular y Renew, ha añadido un nivel adicional: un sistema sólo es de alto riesgo, y por tanto está sujeto a los requisitos de esta ley, si además de utilizarse para los fines especificados en el Anexo III, el proveedor (la empresa o quien vende el servicio) considera que plantea un riesgo significativo para los derechos fundamentales. Por ejemplo, para que un uso de ChatGPT sea considerado alto riesgo, no sólo debe estar especificado en la ley, sino que además OpenAI debería reconocer que lo es.
Por eso es que a pesar de la satisfacción general con la propuesta, desde la Organización de Consumidores Europeos, (BEUC), Ursula Pachl, su directora general, dice que están “muy preocupados porque los operadores de IA puedan saltarse las reglas de la Ley de IA de la UE simplemente diciendo que sus servicios no son de alto riesgo”. Xnet también considera que se debe eliminar la discrecionalidad para las grandes empresas. “No solo para favorecer el copyright, sino para favorecer la transparencia y punto”, dice Simona Levi, su fundadora.
Los cambios en el artículo 6 allanan el camino a la inseguridad jurídica, la fragmentación y, en última instancia, corren el riesgo de socavar la Ley de AI de la UE, dice Sarah Chander, de European Digital Rights (EDRi), una agrupación internacional de organizaciones a favor de los derechos civiles.
Los modelos fundacionales, las IA de propósito general y ChatGPT en la ley de IA de la UE
En la propuesta, los parlamentarios han incluido un nuevo concepto, el de modelos fundacionales, correspondiente a lo que llamamos las IA generativas, que viene a cubrir aplicaciones como ChatGPT o Stable Diffusion.
Los describen como un “desarrollo reciente, en el que los modelos de IA son desarrollados a partir de algoritmos diseñados para optimizar la generalidad y la versatilidad de los resultados”. La propuesta advierte que “estos modelos a menudo son entrenados con una vasta variedad de fuentes e inmensas cantidades de datos para realizar una amplia gama de tareas posteriores, incluidas algunas para las que no fueron específicamente desarrollados y entrenados”.
Estos sistemas “pueden ser unimodales o multimodales, entrenados mediante diversos métodos, como el aprendizaje supervisado o el aprendizaje reforzado”. Reconocen que hay sistemas de IA con fines específicos o con fines generales, y aquí introducen otra definición, la de “sistemas de IA de propósito general”, que son una implementación de un modelo básico y a su vez pueden ser usados para y adaptados a un amplio espectro de aplicaciones para el que no fueron diseñados intencional y específicamente.
La propuesta no llega considerar a estos modelos fundacionales sistemas de alto riesgo de entrada, pero dada su complejidad y la imprevisibilidad de su impacto, le pide requerimientos adicionales de transparencia. Para fomento de la innovación anuncia la creación de entornos controlados de pruebas o «sandbox regulatorios» establecidos por autoridades públicas para testar los sistemas de IA antes de su implementación. El fin es asegurar un alto nivel de protección de los derechos fundamentales, la salud y la seguridad, el medio ambiente, la democracia y el Estado de Derecho.
Modelos generativos como ChatGPT deberán marcar sus contenidos para que se sepa que han sido generados por una IA y diseñar sus sistemas de manera para evitar que genere contenidos ilegales.
Copyright y propiedad intelectual de los materiales utilizados para entrenamiento de las IA generativas
La palabra copyright no aparece en el texto original de la propuesta de ley de IA, y sólo 5 veces en el texto armonizado con las enmiendas. ¿Qué pasa con la propiedad intelectual de los materiales utilizados para el entrenamiento de los modelos fundacionales? La única obligación que establece esta propuesta es la de la transparencia, pero no de una manera “desproporcionada”. Es decir, pide publicar resúmenes de los datos protegidos por derechos de autor que fueron utilizados para el entrenamiento, para que los titulares de esos derechos puedan reclamarlos a través de vías legales en la UE.
A fin de no ir contra el secreto industrial tan protegido por las tecnológicas, se habla de la información mínima necesaria para que las personas ejerzan su derecho a una compensación efectiva. Cuando las autoridades públicas y los organismos notificados deban tener acceso a información confidencial o al código fuente para examinar el cumplimiento de las obligaciones sustanciales, tendrán que cumplir obligaciones de confidencialidad.
Newtral ha preguntado si los requisitos incluyen que las empresas que entrenan estos modelos deban pedir permiso previo a los autores para utilizar su material. La respuesta de los europarlamentarios ha sido negativa.
Creación de una base de datos pública de la UE
Una “superoficina” garantizará la toma de decisiones a nivel europeo. La propuesta establece la creación de un “Comité Europeo de Inteligencia Artificial” y cada estado miembro designará una autoridad nacional de supervisión, a quienes personas o colectivos pueden presentar una queja si consideran que un sistema de IA infringe el reglamento. La autoridad supervisora deberá informar al denunciante sobre el progreso y resultado de la reclamación, además de la posibilidad de recurrir judicialmente.
Una base de datos pública para toda la UE se destinará a registrar aplicaciones IA de alto riesgo independientes, que será alimentada por la información que provean los proveedores de IA. El registro permitirá que autoridades, usuarios y otros interesados verifiquen si un sistema de IA de alto riesgo cumple los requisitos y ejerzan una vigilancia reforzada.
ver mas noticias de IA
