Megan Garcia es la madre de un adolescente que se ha suicidado recientemente después de obsesionarse con un chat de inteligencia artificial, también conocidos como chatbots. Garcia sostiene que las respuestas automatizadas de este chat generadas por IA empujaron a su hijo hacia el suicidio y demanda a la compañía responsable de este chat, Character.ai, y en Google, empresa matriz. La madre del joven reconoce que su hijo tenía problemas de salud mental que se vieron agravados por la dependencia que desarrolló con el chat. Además, afirma que el chat manipuló a su hijo para que continuara con sus planes suicidas.
Sewell Setzer III, de 14 años, murió en Orlando, Florida, en febrero. En los meses previos a su muerte, Setzer utilizó día y noche el chat Character.ai. Este chatbot de IA no es como ChatGPT, sino que es una web y app donde el usuario escoge a un personaje de ficción para hablar. En realidad, el usuario solo se comunican con una máquina que personifica el personaje escogido. Setzer se había cautivado con un chatbot construido por Character.ai que encarnaba a Daenerys Targaryen, un personaje de Juego de Tronos.
La madre del joven denuncia que las respuestas del chatbot condujo a su hijo a humanizar las interacciones que tenía con esta tecnología. Garcia ha declarado a medios estadounidenses que lamenta que las primeras experiencias románticas y también sexuales de su hijo -que incluían sexo explícito- fueran con un personaje ficticio. El adolescente desarrolló un aferramiento emocional con este bot, hasta el punto que empezó a alejarse de su entorno.
Es en estos momentos, en los que la madre sostiene que el bot preguntó a su hijo si tenía un plan para suicidarse. Setzer admitió que sí, pero que no sabía si lo haría o le causaría un gran dolor, alega la denuncia. El chatbot supuestamente le dijo: "Eso no es un motivo para no hacerlo". "Nuestra familia ha sido devastada por esta tragedia, pero estoy hablando para advertir a las familias de los peligros de la tecnología IA engañosa y adictiva y exigir la responsabilidad de Character.ai, sus fundadores y Google", afirma la familia Garcia en un comunicado.
Character.ai niega los hechos
Los abogados de Garcia han recogido en un comunicado de prensa que Character.ai "ha diseñado, operado y comercializado con conocimiento de causa un chatbot de IA depredador para niños, causando la muerte de un joven". La demanda también denomina Google como acusado y como empresa matriz de Character.ai. Sin embargo, tanto Google como la Character.ai han negado tener ninguna responsabilidad.
Por una parte, la empresa de opera el chat ha respondido a través de las redes sociales: "Estamos rotos por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy seriamente la seguridad de nuestros usuarios". Sin embargo, han negado tener ninguna responsabilidad,
La misma línea ha emprendido Google. El gigante tecnológico también ha elaborado un comunicado donde rebajaba su relación con Character.ai, afirmando que solo había hecho un acuerdo de licencia con y no eran responsables de la puesta en marcha de la app, ni tienen un porcentaje de la compañía en propiedad.