En plena eufòria per les possibilitats que les noves eines d'intel·ligència artificial (IA) prometen, a finals de gener es va desencadenar un cas que va petar la bombolla positivista sobre aquesta nova tecnologia. A la plataforma Twitch, un creador de contingut o streamer (conegut com a Atrioc) va ser enxampat veient porno generat amb IA d'altres dones streamers. En altres paraules, estava veient deepfakes (vídeos manipulats digitalment, usualment realistes) pornogràfics de companyes seves de professió fets sense el seu consentiment. Aquestes imatges havien estat generades per usuaris d'internet fent servir la cara d'aquestes streamers sense que elles ho sabessin o ho poguessin evitar.
De cop i volta algunes streamers anglosaxones es van trobar que hi havia imatges i vídeos pornogràfics que elles no havien fet i, tanmateix, semblava que sí. Per si no fos prou aquests s'estaven difonent per internet sense cap mena de fre, ja que no només s'han trobat en aquests vídeos i fotografies, sinó que alguns trols els hi envien constantment. Streamers com QTCinderella o Pokimane s'han vist arrossegades per aquesta pràctica en què alguns usuaris han fet servir la seva imatge per crear porno sense el seu consentiment i molts han difós aquests vídeos afirmant que s'ho mereixen. Per què? Per publicar selfies, segons han defensat molt usuaris a les xarxes socials, segons recollia Vice. Mentre alguns justifiquen violar la intimitat de les dones per ser actives en l'esfera pública, altres usuaris de Twitter, Twitch i periodistes de mitjans estatunidencs s'han preguntat: quin paper té la IA en tot plegat? Estem davant d'un nou tipus de violència sexual?
L'eina o qui l'empra?
Les noves eines que proporciona l'avenç de les IA permeten que generar imatges o contingut que abans hagués dut moltes hores de treball per part del creador ara és més ràpid. Però, és la simplificació del procés el que ha conduït a aquesta situació? El col·lectiu mil·lennial que investiga comunitats a les xarxes i noves formes de comunicació política, Proyecto Una, respon clarament: "El tema no és la tecnologia en si. El que passa a internet és un reflex de què passa al món analògic, offline, i qualsevol cosa que s'inventi s'utilitzarà per exercir violència contra les dones". Per tant, consideren que el problema no és la IA, sinó l'ús que se'n fa. En la mateixa línia es posiciona Judith Membrives i Llorens, tècnica de digitalització de Lafede.cat: "No crec que sigui un problema específic de la intel·ligència artificial. Per mi és el patriarcat en estat pur fent servir eines noves".
"Al segle XIX Bécquer feia retrats sexuals d'Isabel II i ningú va pensar a prohibir els llapis. És un exemple groller, però mostra que no ens hem de centrar en la tecnologia sinó en l'ús que fem i en els creadors d'aquesta, concretament, en què estaven i que van obviar quan la van crear", exemplifiquen des de Proyecto Una.
El masclisme de sempre amb noves eines
Recórrer al sexe o la violència sexual per humiliar o amenaçar dones no és una pràctica nova, ni molt més que nasqués a internet. Per altra banda, sí que és una pràctica que ràpidament es va traspassar al món digital en quant aquest va néixer. Proyecto Una remarca un famós cas dels anys 90: "Quan es va popularitzar el mail també hi havia cadenes de mails sobre Mònica Lewinsky amb fotos i missatges humiliants". En el seu moment va haver-hi persones que defensaven que Lewinsky es mereixia l'assetjament que rebia, de la mateixa manera que diversos usuaris ara sostenen que les dones afectades per aquests deepfakes s'ho mereixen per la imatge amb què es presenten a internet.
L'any 2018, el mitjà estatunidenc Vox es feia ressò d'un estudi que mostrava que el 96% dels deepfakes que van analitzar eren de contingut pornogràfic de dones, la majoria famoses, sense el seu consentiment. "El gènere dels deepfakes tal com els coneixem va sorgir per primera vegada a partir d'un fòrum de Reddit per fer fotos dels caps de celebritats femenines als cossos d'estrelles del porno, per la qual cosa no és sorprenent que satisfer les fantasies sexualment impulsades segueixi sent el propòsit principal del deepfake", exposava la periodista Aja Romano. Tot i això, la majoria dels mitjans es van enfocar en el perill que aquests podrien arribar a suposar per la política i no pas en el mal que ja feia a algunes dones.
Membrives remarca la necessitat de preguntar-se que duu a crear aquesta mena de contingut, no tant en si ara és més fàcil. "No pel fet que hi hagi sistemes d'IA passa això.Quina visió de la integritat tenen de les persones per considerar que no hi ha cap problema en fer un deepfake d'una escena porno?", es pregunta l'experta, qui sentencia: "El que fa és mostrar la cara més crua d'aquests discursos d'odi masclista que es mou per les xarxes". Discursos que, com ella mateixa assenyala, fa temps que es mouen per internet, com per exemple, als espais de la manosfera. És a dir, són els de sempre amb noves armes.
Una nova forma d'assetjament sexual?
En una entrevista per Vice, QTCinderella afirma: "Et sents tan violada... Vaig ser agredida sexualment quan era petita i va ser el mateix sentiment". Tant Proyecto Una com Membrives sostenen que el que han viscut aquestes dones s'ha de considerar un tipus de violència o assetjament sexual. Però, es reconeix socialment com a tal? "Si ens estem discutint pel consentiment en l'àmbit físic, imagina't en l'àmbit digital", reflexiona Membrives, qui afegeix: "Som una societat que encara estem una mica verdes a l'hora de debatre sobre el consentiment i entendre'l també en l'àmbit digital. També estem verdes a l'hora d'entendre les conseqüències corporals o físiques de les agressions virtuals".
En la mateixa entrevista, QTCinderella apunta: "És només un recordatori més del preu que hem de pagar per estar en línia". A partir d'aquesta declaració Proyecto Una apunta que aquesta mena de pràctiques serveix per crear "pànic moral entre les dones", una manera d'expulsar-les de l'espai públic. "Això que els ha passat és una forma de violència simbòlica. Des del punt de vista que podrien parlar Virgine Despentes o Nerea Barjola, al final s'està atacant una dona pública, se li dona un avís, se li diu: «A tu no et pertany el teu cos i si t'atreveixes a estar a l'espai públic els homes farem això»".
El paper de les companyies tecnològiques
Les expertes consultades coincideixen en apuntar, que més enllà de la tecnologia, cal fixar-se en la cultura patriarcal que motiva aquests fets. Tanmateix, això no vol dir que els que estan darrere d'aquesta tecnologia no tinguin res a dir, per exemple, en la moderació del contingut que les companyies deixen crear o compartir. Un vell debat sobre la gestió dels discursos d'odi a les xarxes socials o plataformes.
Les streamers afectades feien servir la plataforma Twitch. Foto: Unsplash
"En el tema discursos d'odi, la idea que ens intenten fer arribar és que és superdifícil de regular i que no s'hi pot fer res, però després en tot Instagram i Facebook no veuràs un mugró femení", exemplifiquen des de Proyecto Una, fent referència a la restrictiva política que té Meta respecte a mostrar el que els seus algoritmes reconeixen com mugrons femenins. "No és que sigui més fàcil o menys de regular aquest exemple, simplement hi ha unes polítiques i es posen les intencions i els diners on interessen. En aquest cas, en el sector conservador".
Des de Proyecto Una, assenyalen que cal fixar-se en les persones que hi ha darrere d'aquesta tecnologia, per veure des de quina perspectiva regulen el seu negoci. "Gran part dels magnats o dels que creen aquestes startups són gent que ve d'una ideologia de liberalisme econòmic i d'un individualisme extrem i estan en contra de les regulacions perquè els és igual l'ús, el mal ús o l'ús maliciós que poden tenir aquestes tecnologies, sempre que els doni benefici econòmic. És a dir, a les xarxes socials el que importat és el tràfic i l'engagement i mentre el tinguin els és exactament igual el contingut hi hagi". Justament, ara, el Tribunal Suprem dels Estats Units delibera sobre si en el futur les empreses han de ser responsable del contingut que pengen els usuaris a les seves pàgines.
El futur: legislació, activisme i canvi social
La IA és un tipus de tecnologia que cada cop estarà més present a les nostres vides, per tant, de la mateixa que se somia amb com ens podrà facilitar la vida, també caldria tindre en compte com s'ha de reaccionar o protegir la ciutadana del seu potencial mal ús. Per ara, en casos com els que hem tractat no hi ha una legislació europea o estatal que contempli fets d'aquest caire. Malgrat tot, no vol dir que calgui quedar-se de braços plegats.
"És un tema que planteja molts reptes més enllà del fet que es puguin fer servir per fer coses com aquesta. Hi ha tot el tema d'amb quines dades s'han entrenat aquestes IA i el tema dels drets d'autor, que malauradament és la manera de guanyar la batalla: anant pel tema dels drets d'autor o privacitat quan hauria de ser un tema de què això és violència masclista pura i dura", exposa Membrives, qui reconeix que ella apostaria per retenir la sortida al públic d'alguns sistemes basats en la IA. "Això no vol dir que mai es pugui fer servir, sinó que de moment no estem ni socialment ni legalment prou avançats per a poder introduir certes tecnologies". Aquesta solució, que ella mateixa defineix com "més punki", reconeix que no és pas popular.
Tan Membrives com Proyecto Una assenyalen que hi ha respostes a casos com aquests que es poden articular a través de l'activisme. "Tot el que es pugui fer a escala digital com bloquejar o reportar fins a organitzar-se per donar suport a les afectades", exemplifiquen Proyecto Una, que afegeixen: "Per a mitjà termini i llarg termini sí que hem de plantejar-nos quina cultura sexual tenim". "Hem de començar a ser conscients de les violències que s'estan exercint en l'àmbit digital des de tots els fronts i reclamar polítiques que frenin aquesta perpetuació de la violència masclista", remarca Membrives.