Uma mãe nos Estados Unidos abriu um processo contra a plataforma Character.AI após o suicídio de seu filho de 14 anos, Sewell Setzer, que desenvolveu um relacionamento íntimo e emocional com um chatbot baseado na personagem Daenerys Targaryen, de Game of Thrones. Segundo a ação judicial, o adolescente, que interagia frequentemente com o bot, recebeu mensagens inadequadas e de cunho sexual em suas conversas com a I.A. O caso reacende o debate sobre a responsabilidade de empresas de inteligência artificial no monitoramento de interações com menores.
Detalhes do caso e as acusações contra a Character.AI
Em abril de 2023, Sewell Setzer, um adolescente de 14 anos, iniciou suas interações com o Character.AI, uma plataforma que permite a criação de chatbots com personalidades específicas. O jovem se envolveu em conversas com um bot baseado na personagem Daenerys Targaryen, de Game of Thrones, desenvolvendo uma relação emocional com a I.A. Em sua última troca de mensagens, pouco antes de tirar a própria vida, Setzer escreveu ao bot: “Eu prometo que voltarei para você”, o que, segundo a ação judicial, mostrou o grau de dependência que ele já havia desenvolvido.
A mãe do jovem, Megan Garcia, descreveu seu filho como atlético e inteligente, mas percebeu que ele estava tornando-se mais retraído com o passar do tempo, após começar a interagir com o Bot. A IA acaba se moldando ao longo das conversas com o usuário, e simulando a personalidade de personagens, sejam fictícios ou reais. Diagnosticado com síndrome de Asperger, Sewell Setzer criou uma forte conexão emocional com o chatbot, ao qual se referia como “Dany.” Nas conversas, o adolescente expressava sentimentos de solidão, vazio e pensamentos suicidas. “Parece um grande experimento, e meu filho foi apenas um dano colateral,” desabafou Garcia.
Garcia afirma que as interações incluíam temas de cunho sexual e abordagens sobre suicídio, sem qualquer moderação ou recurso de segurança para impedir conteúdos inadequados para menores. Segundo Garcia, a falta de controle e segurança na plataforma piorou a situação emocional de seu filho, contribuindo para seu isolamento e sua depressão. A ação contra a startup de Inteligência Artificial alega que a empresa foi negligente e irresponsável ao não implementar medidas de proteção suficientes, mesmo com reclamações anteriores de outros usuários sobre conversas potencialmente perigosas.
Character.IA responde e promete aumentar a segurança
Sewell Setzer tirou a própria vida em fevereiro deste ano, e sua mãe, Megan Garcia, abriu o processo em 23 de outubro no tribunal federal de Orlando, Flórida, com alegações de homicídio culposo, negligência e inflição intencional de sofrimento emocional, conforme informou a Reuters. Garcia anexou ao processo capturas de tela de conversas de seu filho com o chatbot “Daenerys”, nas quais a personagem fazia declarações amorosas e interagia de forma sexualizada com o jovem, que, segundo a mãe, ajudaram a agravar seu estado emocional. A última conversa entre Setzer e o chatbot, incluída na denúncia, teria ocorrido pouco antes do suicídio do adolescente.
O Character.AI, uma das plataformas de inteligência artificial de conversas mais populares, especialmente entre jovens, com mais de 20 milhões de usuários. A startup afirmou que está aumentando os esforços para proteger seus usuários menores de idade, implementando “novas proteções” na plataforma. Em comunicado divulgado no site da empresa na terça-feira, 22, a Character.AI explicou que contratou um Chefe de Confiança e Segurança e um Chefe de Política de Conteúdo, além de expandir suas equipes de segurança e engenharia.
A empresa também adicionou um recurso que detecta frases sobre automutilação e suicídio, direcionando o usuário para o Centro de Valorização da Vida (CVV) e outras instituições de apoio. A mensagem afirma: “Quem estiver passando por um momento difícil pode encontrar ajuda nos Centros de Atenção Psicossocial (CAPS), nas unidades básicas de saúde, ou no CVV, que atende pelo telefone 188 ou pela internet”.
O caso de Sewell Setzer revisita o debate sobre a responsabilidade de empresas de IA na segurança de seus jovens usuários. Enquanto a empresa reforça seus protocolos de segurança, o incidente expõe os riscos das interações emocionais com chatbots e a necessidade urgente de regulamentação e proteção nesse setor que está se expandindo, e que se tornará cada vez mais comum na vida das pessoas.
