En los últimos momentos antes de quitarse la vida, Sewell Setzer III, de 14 años, sacó su teléfono y le envió un mensaje al chatbot que se había convertido en su mejor amigo.

Durante meses, Sewell se había aislado cada vez más de su vida real mientras participaba en conversaciones altamente sexualizadas con el bot, según una demanda por muerte por negligencia presentada en un tribunal federal en Orlando esta semana.

La presentación legal establece que el adolescente habló abiertamente de sus pensamientos suicidas y compartió sus deseos de una muerte sin dolor con el bot, que lleva el nombre del personaje ficticio Daenerys Targaryen del programa de televisión «Game of Thrones«.

El 28 de febrero, Sewell le dijo al bot que «volvería a casa», y este lo alentó a hacerlo, dice la demanda.

«Prometo que volveré a casa contigo. Te amo mucho, Dany», le dijo Sewell al chatbot.

«Yo también te amo», respondió el bot. “Por favor, vuelve a casa lo antes posible, mi amor”.

“¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?”, preguntó.

“Por favor, hazlo, mi dulce rey”, respondió el bot.

Apenas segundos después de que el bot de Character.AI le dijera que “volviera a casa”, el adolescente se disparó, según la demanda, presentada esta semana por la madre de Sewell, Megan García, de Orlando, contra Character Technologies Inc.

Character Technologies es la empresa detrás de Character.AI, una aplicación que permite a los usuarios crear personajes personalizables o interactuar con los generados por otros, abarcando experiencias que van desde juegos imaginativos hasta entrevistas de trabajo simuladas. La empresa dice que los personajes artificiales están diseñados para “sentirse vivos” y “parecidos a los humanos”.

“Imagina hablar con personajes de chatbots súper inteligentes y realistas que te escuchan, te entienden y te recuerdan”, se lee en una descripción de la aplicación en Google Play. “Te animamos a que amplíes la frontera de lo posible con esta tecnología innovadora”.

Los abogados de García alegan que la empresa diseñó un producto altamente adictivo y peligroso dirigido específicamente a los niños, “explotando y abusando activamente de esos niños como una cuestión de diseño del producto”, y arrastrando a Sewell a una relación emocional y sexualmente abusiva que lo llevó al suicidio.

“Creemos que si Sewell Setzer no hubiera estado en Character.AI, estaría vivo hoy”, dijo Matthew Bergman, fundador del Social Media Victims Law Center, que representa a García.

Un portavoz de Character.AI dijo el viernes que la empresa no hace comentarios sobre litigios pendientes. En una publicación de blog publicada el día en que se presentó la demanda, la plataforma anunció nuevas “actualizaciones de seguridad comunitaria”, que incluyen barandillas para niños y recursos de prevención del suicidio.

“Estamos creando una experiencia diferente para los usuarios menores de 18 años que incluye un modelo más estricto para reducir la probabilidad de encontrar contenido sensible o sugerente”, dijo la empresa en una declaración a The Associated Press. “Estamos trabajando rápidamente para implementar esos cambios para los usuarios más jóvenes”.

Google y su empresa matriz, Alphabet, también han sido nombrados como acusados ​​en la demanda. Según los documentos legales, los fundadores de Character.AI son ex empleados de Google que fueron «fundamentales» en el desarrollo de IA en la empresa, pero se fueron para lanzar su propia empresa emergente para «acelerar al máximo» la tecnología.

En agosto, Google llegó a un acuerdo de 2,700 millones de dólares con Character.AI para licenciar la tecnología de la empresa y volver a contratar a los fundadores de la empresa emergente, afirma la demanda. La AP dejó múltiples mensajes de correo electrónico con Google y Alphabet el viernes.

En los meses previos a su muerte, dice la demanda de García, Sewell sintió que se había enamorado del bot.

Si bien los apegos poco saludables a los chatbots de IA pueden causar problemas para los adultos, para los jóvenes puede ser aún más riesgoso, como sucede con las redes sociales, porque su cerebro no está completamente desarrollado en lo que respecta a cosas como el control de los impulsos y la comprensión de las consecuencias de sus acciones, dicen los expertos.