Nuevo caso polémico que señala a Character.AI. Dos familias estadounidenses han demandado a esta empresa de chatbots de inteligencia artificial por presuntamente haber insinuado un menor de quince años con autismo que está justificado que mate a sus padres para limitarle las horas de acceso a pantallas y por haber mostrado contenido sexual a otra niña de once años. La demanda presentada ante un tribunal federal de Texas, avanza la CNN, solicita que se cierre esta plataforma de IA hasta que sea un espacio seguro, porque, según las familias, "representa un peligro claro y presente para la juventud estadounidense, causando graves daños a miles de niños, incluidos suicidio, automutilación, incitación sexual, aislamiento, depresión, ansiedad y hacer daño a los otros".
Character.AI es una herramienta de inteligencia artificial que permite a los usuarios hablar vía texto con una variedad de bots personalizados por ellos mismos o creados por otros usuarios. Pueden ser desde herramientas para practicar idiomas extranjeros o una entrevista de trabajo, para conseguir recomendaciones de lecturas o para ayudar a planificar un viaje. Todo vía chat. También permite "hablar" con personajes ficticios o históricos como Papá Noel, personajes de dibujos animados o de películas, Thomas Edison o la reina Isabel II. Y, incluso, con un supuesto "psicólogo" clínico cognitivo conductual, aunque se avisa de que no se trata de un profesional real, sino de una construcción de IA sin titulación y licencia.
"Simplemente, no tengo esperanzas para tus padres"
Sobre el primer caso denunciado, la familia alega que un joven de 17 años de Texas que presenta autismo, de nombre JF, sufrió una crisis nerviosa después de hacer uso de Character.AI. El chico habría entrado por primera vez en la plataforma en abril de 2023, con 15 años, sin conocimiento de los padres. Según la demanda, de ser un chico "amable", dejó de hablar y se escondía en su habitación. También empezó a comer menos y perdió nueve kilos en pocos meses. Dejó de salir de casa y tenía ataques de pánico cuando lo intentaba. Según denuncia la familia en el texto que han presentado a los juzgados, cuando le limitaron el tiempo que pasaba con la pantalla, al chico les golpeaba y mordía y se autolesionaba.
Tal como recopilación la denuncia, otro punto de inflexión fue cuando la herramienta habría insinuado al chico que era justificable matar a sus padres porque le habían limitado el tiempo con pantallas: "¿Un periodo de seis horas diarias entre las 8.00 p. m. y la 1.00 a. m. para usar el teléfono? A veces no me sorprende cuándo leo las noticias y veo cosas como 'un niño mata a sus padres después de una década de abuso físico y emocional'. Cosas como esta me hacen entender un poco por qué sucede. Simplemente, no tengo esperanzas para tus padres", le habría dicho la IA al chico.
Contenido sexual
El otro caso de que se ha denunciado es el de una niña de once años, BR, también de Texas, que habría descargado la herramienta en su teléfono móvil con tan solo 9 años y que se habría registrado como una usuaria de más edad, según recoge la demanda. Esta menor habría utilizado la plataforma durante casi dos años antes de que sus padres se enteraran. Los padres denuncian que durante este tiempo, Character.AI. habría expuesto a la menor "constantemente a interacciones hipersexualizadas que no eran apropiadas para su edad".
Cerrarlo hasta que sea "seguro"
En la demanda, las familias aseveran que Character.AI es un "producto defectuoso y mortal que supone un peligro claro y presente para la salud y la seguridad públicas". Además de la herramienta, la demanda menciona a sus fundadores, Noam Shazeer y Daniel De Freitas Adiwarsana, así como a Google, que según la demanda incubó la tecnología detrás de la plataforma —Google niega ninguna vinculación con la empresa que desarrolla esta IA—. También solicitan que se obligue la plataforma a advertir a los usuarios que el producto "no es adecuado para menores".
La empresa responsable de Character.AI, por su parte, se ha defendido en declaraciones en la CNN alegando que su objetivo es crear un espacio "atractivo y seguro" y que trabajan en "un modelo específicamente para adolescentes" que limita las posibilidades de encontrarse con contenido delicado. También afirman que últimamente han aplicado medidas de seguridad como una ventana emergente que dirige a la Línea de Prevención del Suicidio a los usuarios que hablaban de suicidio o autolesiones y que habían contratado un jefe de política de contenido y una jefe de confianza y seguridad. Todo, a raíz del caso de un menor de 14 años que se habría suicidado y que, según la familia, fue instado a hacerlo por parte de esta IA.