En plena euforia por las posibilidades que las nuevas herramientas de inteligencia artificial (IA) prometen, a finales de enero se desencadenó un caso que rompió la burbuja positivista sobre esta nueva tecnología. En la plataforma Twitch, un creador de contenido o streamer (conocido como Atrioc) fue pillado viendo porno generado con IA de otras mujeres streamers. En otras palabras, estaba viendo deepfakes (vídeos manipulados digitalmente, usualmente realistas) pornográficos de compañeras suyas de profesión hechos sin su consentimiento. Estas imágenes habían sido generadas por usuarios de internet utilizando la cara de estas streamers sin que ellas lo supieran o lo pudieran evitar.

De golpe algunas streamers anglosajonas se encontraron con que había imagenes y vídeos pornográficos que ellas no habían hecho y, sin embargo, parecía que sí. Por si no fuera suficiente estos se estaban difundiendo por internet sin ningún tipo de freno, ya que no solo se han encontrado en estos vídeos y fotografías, sino que algunos trols se los envían constantemente. Streamers como QTCinderella o Pokimane se han visto arrastradas por esta práctica en que algunos usuarios han utilizado su imagen para crear porno sin su consentimiento y muchos han difundido estos vídeos afirmando que se lo merecen. ¿Por qué? Por publicar selfies, según han defendido mucho usuarios en las redes sociales, según recogía Vice. Mientras algunos justifican violar la intimidad de las mujeres para ser activas en la esfera pública, otros usuarios de Twitter, Twitch y periodistas de medios estadounidenses se han preguntado: ¿Qué papel tiene la IA en todo? ¿Estamos ante un nuevo tipo de violencia sexual?

¿La herramienta o quien la utiliza?

Las nuevas herramientas que proporciona el avance de las IA permiten que generar imágenes o contenido que antes hubiera llevado muchas horas de trabajo por parte del creador ahora es más rápido. Sin embargo, ¿es la simplificación del proceso lo que ha conducido a esta situación? El colectivo millennial que investiga comunidades en las redes y nuevas formas de comunicación política, Proyecto Una, responde claramente: "El tema no es la tecnología en sí. Lo que pasa en internet es un reflejo de que pasa en el mundo analógico, offline, y cualquier cosa que se invente se utilizará para ejercer violencia contra las mujeres". Por lo tanto, consideran que el problema no es la IA, sino el uso que se hace. En la misma línea se posiciona Judith Membrives i Llorens, técnica de digitalización de Lafede.cat: "No creo que sea un problema específico de la inteligencia artificial. Para mí es el patriarcado en estado puro usando herramientas nuevas".

"En el siglo XIX Bécquer hacía retratos sexuales de Isabel II y nadie pensó en prohibir los lápices. Es un ejemplo burdo, pero muestra que no nos tenemos que centrar en la tecnología sino en el uso que hacemos y en los creadores de esta, concretamente, en que estaban y que obviaron cuando la crearon", ejemplarizan desde Proyecto Una.

El machismo de siempre con nuevas herramientas

Recurrir al sexo o la violencia sexual para humillar o amenazar mujeres no es una práctica nueva, ni mucho más que naciera en internet. Por otra parte, sí que es una práctica que rápidamente se traspasó al mundo digital en cuánto este nació. Proyecto Una remarca un famoso caso de los años 90: "Cuando se popularizó el mail también había cadenas de mails sobre Mònica Lewinsky con fotos y mensajes humillantes". En su momento hubo personas que defendían que Lewinsky se merecía el acoso que recibía, de la misma manera que varios usuarios ahora sostienen que las mujeres afectadas por estos deepfakes se lo merecen por la imagen con que se presentan en internet.

En el año 2018, el medio estadounidense Vox se hacía eco de un estudio que mostraba que el 96% de los deepfakes que analizaron eran de contenido pornográfico de mujeres, la mayoría famosas, sin su consentimiento. "El género de los deepfakes tal y como los conocemos surgió por primera vez a partir de un foro de Reddit para hacer fotos de las cabezas de celebridades femeninas en los cuerpos de estrellas del porno, por lo cual no es sorprendente que satisfacer las fantasías sexualmente impulsadas siga siendo el propósito principal del deepfake", exponía la periodista Aja Romano. Sin embargo, la mayoría de los medios se enfocaron en el peligro que estos podrían llegar a suponer para la política y no en el daño que ya hacia a algunas mujeres.

Membrives remarca la necesidad de preguntarse que lleva a crear este tipo de contenido, no tanto en si ahora es más fácil. "No por el hecho de que haya sistemas de IA pasa esto.¿Qué visión de la integridad tienen de las personas para considerar que no hay ningún problema al hacer un deepfake de una escena porno?", se pregunta la experta, quien sentencia: "Lo que hace es mostrar la cara más cruda de estos discursos de odio machista que se mueve por las redes". Discursos que, como ella misma señala, hace tiempo que se mueven por internet, como por ejemplo, en los espacios de la manosfera. Es decir, son los de siempre con nuevas armas.

¿Una nueva forma de acoso sexual?

En una entrevista para Vice, QTCinderella afirma: "Te sientes tan violada... Fui agredida sexualmente cuando era pequeña y fue el mismo sentimiento". Tanto Proyecto Una como Membrives sostienen que lo que han vivido estas mujeres se tiene que considerar un tipo de violencia o acoso sexual. Sin embargo, ¿se reconoce socialmente como tal? "Si nos estamos discutiendo por el consentimiento en el ámbito físico, imagínate en el ámbito digital", reflexiona Membrives, quien añade: "Somos una sociedad que todavía estamos un poco verdes a la hora de debatir sobre el consentimiento y entenderlo también en el ámbito digital. También estamos verdes a la hora de entender las consecuencias corporales o físicas de las agresiones virtuales".

En la misma entrevista, QTCinderella apunta: "Es solo un recordatorio más del precio que tenemos que pagar para estar en línea". A partir de esta declaración Proyecto Una apunta que este tipo de prácticas sirve para crear "pánico moral entre las mujeres", una manera de expulsarlas del espacio público. "Esto que les ha pasado es una forma de violencia simbólica. Desde el punto de vista que podrían hablar Virgine Despentes o Nerea Barjola, al final se está atacando una mujer pública, se le da un aviso, se le dice: «A ti no te pertenece tu cuerpo y si te atreves a estar en el espacio público los hombres haremos eso»".

El papel de las compañías tecnológicas

Las expertas consultadas coinciden en apuntar, que más allá de la tecnología, hay que fijarse en la cultura patriarcal que motiva estos hechos. Sin embargo, esto no quiere decir que los que están detrás de esta tecnología no tengan nada que decir, por ejemplo, en la moderación del contenido que las compañías dejan crear o compartir. Un viejo debate sobre la gestión de los discursos de odio en las redes sociales o plataformas.

twitch

Las streamers afectadas utilizaban la plataforma Twitch. Foto: Unsplash

"En el tema discursos de odio idea que nos intentan hacer llegar es que es superdifícil de regular y que no se puede hacer nada, pero después en todo Instagram y Facebook no verás un pezón femenino", ejemplarizan desde Proyecto Una, haciendo referencia a la restrictiva política que tiene Meta respecto a mostrar lo que sus algoritmos reconocen como pezones femeninos. "No es que sea más fácil o menos de regular este ejemplo, simplemente hay unas políticas y se ponen las intenciones y el dinero donde interesan. En este caso, en el sector conservador".

Desde Proyecto Una, señalan que hay que fijarse en las personas que hay detrás de esta tecnología, para ver desde qué perspectiva regulan su negocio. Gran parte de los magnates o de los que crean estas startups son gente que viene de una ideología de liberalismo económico y de un individualismo extremo y están en contra de las regulaciones porque les es igual el uso, el mal uso o el uso malicioso que pueden tener estas tecnologías, siempre que les dé beneficio económico. Es decir, en las redes sociales lo que importa es el tráfico y el engagement y mientras lo tengan les es exactamente igual el contenido haya". Justamente, ahora, el Tribunal Supremo de los Estados Unidos delibera sobre si en el futuro las empresas tienen que ser responsable del contenido que cuelgan los usuarios en sus páginas.

El futuro: legislación, activismo y cambio social

La IA es un tipo de tecnología que cada vez estará más presente en nuestras vidas, por lo tanto, de la misma que se sueña con cómo nos podrá facilitar la vida, también haría falta tener en cuenta cómo se tiene que reaccionar o proteger a la ciudadana de su potencial mal uso. Por ahora, en casos como los que hemos tratado no hay una legislación europea o estatal que contemple hechos de este cariz. A pesar de todo, no quiere decir que haya que quedarse de brazos cruzados.

"Es un tema que plantea muchos retos más allá del hecho que se puedan utilizar para hacer cosas como esta. Está todo el tema de con qué datos se han entrenado estas IA y el tema de los derechos de autor, que desgraciadamente es la manera de ganar la batalla: yendo por el tema de los derechos de autor o privacidad cuando tendría que ser un tema de que eso es violencia machista pura y dura", expone Membrives, quien reconoce que ella apostaría por retener la salida al público de algunos sistemas basados en la IA. "Eso no quiere decir que nunca se pueda utilizar, sino que de momento no estamos ni social ni legalmente lo bastante avanzados para poder introducir ciertas tecnologías". Esta solución, que ella misma define como "más punki", reconoce que no es popular.

Tan Membrives como Proyecto Una señalan que hay respuestas a casos como estos que se pueden articular a través del activismo. "Todo lo que se pueda hacer a escala digital como bloquear o reportar hasta organizarse para dar apoyo a las afectadas", ejemplarizan Proyecto Una, que añaden: "Para medio plazo y largo plazo sí que tenemos que plantearnos qué cultura sexual tenemos". "Tenemos que empezar a ser conscientes de las violencias que se están ejerciendo en el ámbito digital desde todos los frentes y reclamar políticas que frenen esta perpetuación de la violencia machista", remarca Membrives.