Megan Garcia és la mare d'un adolescent que s'ha suïcidat recentment després d'obsessionar-se amb un xat d'intel·ligència artificial, també coneguts com a xatbots. Garcia sosté que les respostes automatitzades d'aquest xat generades per IA van empènyer el seu fill cap al suïcidi i demanda a la companyia responsable d'aquest xat, Character.ai, i a Google, empresa matriu. La mare del jove reconeix que el seu fill tenia problemes de salut mental que es van veure agreujats per la dependència que va desenvolupar amb el xat. A més, afirma que el xat va manipular el seu fill perquè continués amb els seus plans suïcides.
Sewell Setzer III, de 14 anys, va morir a Orlando, Florida, al febrer. En els mesos previs a la seva mort, Setzer va utilitzar dia i nit el xat Character.ai. Aquest xatbot d'IA no és com ChatGPT, sinó que és una web i app on l'usuari escull un personatge de ficció per parlar-hi. En realitat, l'usuari només es comuniquen amb una màquina que personifica el personatge escollit. Setzer s'havia encisat amb un xatbot construït per Character.ai que encarnava a Daenerys Targaryen, un personatge de Joc de Trons.
La mare del jove denuncia que les respostes del xatbot va conduir al seu fill a humanitzar les interaccions que tenia amb aquesta tecnologia. Garcia ha declarat a mitjans estatunidencs que lamenta que les primeres experiències romàntiques i també sexuals del seu fill -que incloïen sexe explícit- fossin amb un personatge fictici. L'adolescent va desenvolupar un aferrament emocional amb aquest bot i enviava missatges de text constantment, fins al punt que va començar a allunyar-se del seu entorn.
És en aquests moments, en què la mare sosté que el bot va preguntar al seu fill si tenia un pla per suïcidar-se. Setzer va admetre que sí, però que no sabia si ho faria o li causaria un gran dolor, al·lega la denúncia. El xatbot suposadament li va dir: "Això no és un motiu per no fer-ho". "La nostra família ha estat devastada per aquesta tragèdia, però estic parlant per advertir a les famílies dels perills de la tecnologia d'IA enganyosa i addictiva i exigir la responsabilitat de Character.ai, els seus fundadors i Google", afirma la família Garcia en un comunicat.
Character.ai nega els fets
Els advocats de Garcia han recollit en un comunicat de premsa que Character.ai "ha dissenyat, operat i comercialitzat amb coneixement de causa un xatbot d'IA depredador per a nens, causant la mort d'un jove". La demanda també anomena Google com a acusat i com a empresa matriu de Character.ai. Tanmateix, tant Google com la Character.ai han negat tenir cap responsabilitat.
Per una banda, l'empresa de opera el xat ha respost a través de les xarxes socials: "Estem trencats per la tràgica pèrdua d'un dels nostres usuaris i volem expressar el nostre més sentit condol a la família. Com a empresa, ens prenem molt seriosament la seguretat dels nostres usuaris". Tot i això, han negat tenir cap responsabilitat,
La mateixa línia ha emprès Google. El gegant tecnològic també ha elaborat un comunicat on rebaixava la seva relació amb Character.ai, afirmant que només havia fet un acord de llicència amb i no eren responsables de la posada en marxa de l'app, ni tenen un percentatge de la companyia en propietat.