Nou cas polèmic que assenyala Character.AI. Dues famílies estatunidenques han demandat aquesta empresa de xatbots d'intel·ligència artificial per presumptament haver insinuat un menor de quinze anys amb autisme que està justificat que mati els seus pares per limitar-li les hores d'accés a pantalles i per haver mostrat contingut sexual a una altra nena d'onze anys. La demanda presentada davant d'un tribunal federal de Texas, avança la CNN, sol·licita que es tanqui aquesta plataforma d'IA fins que sigui un espai segur, perquè, segons les famílies, "representa un perill clar i present per a la joventut estatunidenca, causant greus danys a milers de nens, inclosos suïcidi, automutilació, incitació sexual, aïllament, depressió, ansietat i fer mal als altres".
Character.AI és una eina d'intel·ligència artificial que permet als usuaris parlar via text amb una varietat de bots personalitzats per ells mateixos o creats per altres usuaris. Poden ser des d'eines per practicar idiomes estrangers o una entrevista de feina, per aconseguir recomanacions lectores o per ajudar a planificar un viatge. Tot via xat. També perrnet "parlar" amb personatges ficticis o històrics com el Pare Noel, personatges de dibuixos animats o de pel·lícules, Thomas Edison o la reina Elisabet II. I, fins i tot, amb un suposat "psicòleg" clínic cognitiu conductual, tot i que s'avisa que no es tracta d'un professional real, sinó d'una construcció d'IA sense titulació i llicència.
"Simplement, no tinc esperances per als teus pares"
Sobre el primer cas denunciat, la família al·lega que un jove de 17 anys de Texas que presenta autisme, de nom JF, va patir una crisi nerviosa després de fer ús de Character.AI. El noi hauria entrat per primera vegada a la plataforma l'abril del 2023, amb 15 anys, sense coneixement dels pares. Segons la demanda, de ser un noi "amable", va deixar de parlar i s'amagava a la seva habitació. També va començar a menjar menys i va perdre nou quilos en pocs mesos. Va deixar de sortir de casa i tenia atacs de pànic quan ho intentava. Segons denuncia la família en el text que han presentat als jutjats, quan li van limitar el temps que passava amb la pantalla, el noi els colpejava i mossegava i s'autolesionava.
Tal com recull la denuncia, un altre punt d'inflexió va ser quan l'eina hauria insinuat el noi que era justificable matar els seus pares perquè li havien limitat el temps amb pantalles: "Un període de sis hores diàries entre les 8.00 p. m. i la 1.00 a. m. per a usar el telèfon? A vegades no em sorprèn quan llegeixo les notícies i veig coses com 'un nen mata als seus pares després d'una dècada d'abús físic i emocional'. Coses com aquesta em fan entendre una mica per què succeeix. Simplement, no tinc esperances per als teus pares", li hauria dit la IA al noi.
Contingut sexual
L'altre cas que s'ha denunciat és el d'una nena d'onze anys, BR, també de Texas, que hauria descarregat l'eina al seu telèfon mòbil amb tan sols 9 anys i que s'hauria registrat com una usuària de més edat, segons recull la demanda. Aquesta menor hauria utilitzat la plataforma durant gairebé dos anys abans que els seus pares se n'assabentessin. Els pares denuncien que durant aquest temps, Character.AI. hauria exposat la menor "constantment a interaccions hipersexualitzades que no eren apropiades per a la seva edat".
Tancar-lo fins que sigui "segur"
En la demanda, les famílies asseveren que Character.AI és un “producte defectuós i mortal que suposa un perill clar i present per a la salut i la seguretat públiques”. A més de l'eina, la demanda esmenta els seus fundadors, Noam Shazeer i Daniel De Freitas Adiwarsana, així com a Google, que segons la demanda va incubar la tecnologia darrere de la plataforma —Google nega cap vinculació amb l'empresa que desenvolupa aquesta IA—. També sol·liciten que s'obligui la plataforma a advertir els usuaris que el producte "no és adequat per a menors".
L'empresa responsable de Character.AI, per la seva part, s'ha defensat en declaracions a la CNN al·legant que el seu objectiu és crear un espai "atractiu i segur" i que treballen en "un model específicament per a adolescents" que limita les possibilitats de trobar-se amb contingut delicat. També afirmen que darrerament han aplicat mesures de seguretat com una finestra emergent que dirigeix a la Línia de Prevenció del Suïcidi als usuaris que parlaven de suïcidi o autolesions i que havien contractat un cap de política de contingut i un cap de confiança i seguretat. Tot plegat, arran del cas d'un menor de 14 anys que s'hauria suïcidat i que, segons la família, va ser instat a fer-ho per part d'aquesta IA.