Con la aprobación y publicación de la nueva normativa de la Unión Europea en materia de inteligencia artificial, se marcan los límites a la inteligencia artificial si el uso viene derivado desde cualquier empresa o persona residente en uno de sus estados miembros. Así pues, se prohíben los sistemas de IA siguientes:

  • Los que desplieguen técnicas subliminales con el objetivo de distorsionar el comportamiento de una persona de manera que pueda causar daños físicos o psicológicos a él o a otros.
  • Los que exploten vulnerabilidades de un grupo específico de personas por su edad, discapacidad o situación social o económica de manera que distorsionen el comportamiento de estas personas y probablemente les causen daños a ellas u otros.
  • Sistemas de IA que elaboren perfiles de personas según su comportamiento, creando un "baremo social" que pueda resultar que personas o grupos reciban un trato desproporcionadamente desfavorable al comportamiento observado, o en un trato desfavorable en un contexto que no es aquel donde se recogieron los datos.
  • Se prohíbe el uso por aplicaciones policiales o de orden público de la identificación biométrica en tiempo real en lugares accesibles al público por parte de las fuerzas y cuerpos de seguridad, o en nombre suyo, excepto en estos casos: búsqueda de víctimas potenciales de delitos; prevención de amenazas específicas y sustanciales sobre infraestructuras, críticas o sobre personas físicas; prevención de ataques terroristas; y persecución de crímenes punibles con más de cinco años de privación de libertad. Antes, se valorará la probabilidad y escala del daño posible sin estos sistemas y del daño que estos podrían ocasionar; intervendrá autorización judicial o administrativa; y se impondrán limitaciones temporales, geográficas y personales.

Fuera de estos casos, la identificación biométrica también está sujeta al RGPD 2016/679 y la Directiva de tratamiento de datos personales para las autoridades 2016/680.

Refuerzo con un sistema de riesgos

Por otra parte, eso también comporta una serie de obligaciones. Así pues, se contará con un sistema de gestión de riesgos para el sistema de IA de alto riesgo, que contemple, a particular, los riesgos sobre la salud, la seguridad y los derechos fundamentales relacionados con su propósito. También se establecerá una gobernanza y gestión de los datos de entrenamiento y prueba, asegurando buenas prácticas en su diseño, recolección y preparación, asegurando la relevancia y corrección, y las apropiadas propiedades estadísticas, evitando sesgos que afecten negativamente a las personas.

Con respecto a los sistemas, irán acompañados de documentación técnica actualizada, que demuestre que se cumplen los requisitos exigidos. Se especifica un contenido mínimo, que la Comisión puede enmendar. Estos tomarán automáticamente registros de actividad del sistema. Se aportará información a los usuarios sobre las capacidades del sistema, los requisitos de equipamiento, el ámbito de aplicación, su nivel de precisión, las condiciones de utilización que pueden implicar riesgos, los sistemas para supervisión humana, etc.

Además, los sistemas permitirán la supervisión por personas durante su uso para minimizar los riesgos a la salud, seguridad y derechos fundamentales, en particular de los riesgos residuales después de la aplicación de medidas de mitigación. Los usuarios podrán monitorizar los sistemas e interpretar las salidas. Para identificación biométrica remota, la salida requerirá verificación por una persona física, posiblemente dos. Los sistemas proporcionarán un nivel adecuado de precisión, robustez y ciberseguridad, que se declarará a la documentación que los acompaña. Para acabar, se diseñarán con tolerancia a errores o inconsistencias en la interacción con su entorno, en particularidad con personas u otros sistemas. Incorporarán medidas de ciberseguridad apropiadas y proporcionadas a sus circunstancias, en particular de protección contra la manipulación de los datos de entrenamiento.