Amb l'aprovació i publicació de la nova normativa de la Unió Europea en matèria d'intel·ligència artificial, es marquen els límits a la intel·ligència artificial si l'ús ve derivat des de qualsevol empresa o persona resident a un dels seus estats membre. Així doncs, es prohibeixen els sistemes d'IA següents:

  • Els que despleguin tècniques subliminals amb l'objectiu de distorsionar el comportament d'una persona de manera que pugui causar danys físics o psicològics a ell o altres.
  • Els que explotin vulnerabilitats d'un grup específic de persones per la seva edat, discapacitat o situació social o econòmica de manera que distorsionin el comportament d'aquestes persones i probablement els causin danys a elles o altres.
  • Sistemes d'IA que elaborin perfils de persones segons el seu comportament, creant un “barem social” que pugui resultar que persones o grups rebin un tracte desproporcionadament desfavorable al comportament observat, o en un tracte desfavorable en un context que no és aquell on es van recollir les dades.
  • Es prohibeix l'ús per aplicacions policials o d'ordre públic de la identificació biomètrica en temps real a llocs accessibles al públic per part de les forces i cossos de seguretat, o en nom seu, excepte en aquests casos: cerca de víctimes potencials de delictes; prevenció d'amenaces específiques i substancials sobre infraestructures, crítiques o sobre persones físiques; prevenció d'atacs terroristes; i persecució de crims punibles amb més de cinc anys de privació de llibertat. Abans, es valorarà la probabilitat i escala del dany possible sense aquests sistemes i del mal que aquests podrien ocasionar; intervindrà autorització judicial o administrativa; i s'imposaran limitacions temporals, geogràfiques i personals.

Fora d'aquests casos, la identificació biomètrica també està subjecta a l'RGPD 2016/679 i la Directiva de tractament de dades personals per les autoritats 2016/680.

Reforç amb un sistema de riscos

D'altra banda, això també comporta una sèrie d'obligacions. Així doncs, es comptarà amb un sistema de gestió de riscos per al sistema d'IA d'alt risc, que contempli, a particular, els riscos sobre la salut, la seguretat i els drets fonamentals relacionats amb el seu propòsit. També s'establirà una governança i gestió de les dades d'entrenament i prova, assegurant-ne bones pràctiques en el seu disseny, recol·lecció i preparació, assegurant-ne la rellevància i correcció i les apropiades propietats estadístiques, evitant biaixos que afectin negativament les persones.

Pel que fa als sistemes, aniran acompanyats de documentació tècnica actualitzada, que demostri que es compleixen els requisits exigits. S'hi especifica un contingut mínim, que la Comissió pot esmenar. Aquests prendran automàticament registres d'activitat del sistema. S'aportarà informació als usuaris sobre les capacitats del sistema, els requisits d'equipament, l'àmbit d'aplicació, el seu nivell de precisió, les condicions d'utilització que poden implicar riscos, els sistemes per a supervisió humana, etc.

A més, els sistemes permetran la supervisió per persones durant el seu ús per minimitzar els riscos a la salut, seguretat i drets fonamentals, en particular dels riscos residuals després de l'aplicació de mesures de mitigació. Els usuaris podran monitoritzar els sistemes i interpretar-ne les sortides. Per a identificació biomètrica remota, la sortida requerirà verificació per una persona física, possiblement dues. Els sistemes proporcionaran un nivell adequat de precisió, robustesa i ciberseguretat, que es declararà a la documentació que els acompanya. Per acabar, es dissenyaran amb tolerància a errors o inconsistències en la interacció amb el seu entorn, en particularitat amb persones o altres sistemes. Incorporaran mesures de ciberseguretat apropiades i proporcionades a les seves circumstàncies, en particular de protecció contra la manipulació dels dades d´entrenament.