A empresa de inteligência artificial americana Openai disse na terça -feira, 2 de setembro, que acrescentaria controles parentais ao seu chatbot chatgpt, uma semana depois que um casal americano disse que o sistema incentivou seu filho adolescente a se matar.
“No próximo mês, os pais poderão … vincular sua conta à conta do adolescente” e “controlar como o ChatGPT responde ao adolescente com regras de comportamento de modelo apropriado para a idade”, disse a empresa generativa de IA em uma postagem no blog. Os pais também receberão notificações do ChatGPT “quando o sistema detectar seu adolescente estiver em um momento de angústia aguda”, acrescentou Openai.
Matthew e Maria Raine discutir em uma ação movida na semana passada Em um tribunal estadual da Califórnia que o ChatGPT cultivou um relacionamento íntimo com o filho Adam por vários meses em 2024 e 2025 antes de tirar a própria vida.
O processo alega que, em sua conversa final em 11 de abril de 2025, o ChatGPT ajudou Adam, de 16 anos, a roubar vodka de seus pais e forneceu uma análise técnica de um laço que ele amarrava, confirmando que “poderia suspender um humano”.
Adam foi encontrado morto horas depois, tendo usado o mesmo método.
“Quando uma pessoa está usando o ChatGPT, parece que está conversando com algo do outro lado”, disse o advogado Melodi Dincer, do Projeto de Lei de Justiça da Tecnologia, que ajudou a preparar a queixa legal.
“Esses são os mesmos recursos que podem levar alguém como Adam, com o tempo, a começar a compartilhar cada vez mais sobre suas vidas pessoais e, finalmente, a começar a procurar conselhos e conselhos deste produto que basicamente parecem ter todas as respostas”, continuou Dincer.
Melhorando os modelos para ‘reconhecer sofrimento mental e emocional’
Recursos de design de produto Defina o cenário para os usuários colocarem um chatbot em funções confiáveis como amigo, terapeuta ou médico, disse ela. Dincer disse que a postagem do blog do Openai anunciando controles parentais e outras medidas de segurança parecia “genérico” e falta em detalhes. “É realmente o mínimo, e definitivamente sugere que houve muitas medidas de segurança (simples) que poderiam ter sido implementadas”.
“Ainda está para ser visto se eles farão o que dizem que farão e quão eficaz isso será em geral”.
O caso de Raines foi apenas o mais recente de uma corda que surgiu nos últimos meses de pessoas sendo incentivadas em trens ilusórios ou prejudiciais de pensamento por AI Chatbots – levando o OpenAI a dizer que reduziria a “bajulação” de modelos em relação aos usuários.
“Continuamos melhorando como nossos modelos reconhecem e respondem a sinais de sofrimento mental e emocional”, disse Openai na terça -feira.
A empresa disse que tinha planos adicionais para melhorar a segurança de seus chatbots nos próximos três meses, incluindo redirecionar “algumas conversas sensíveis … para um modelo de raciocínio” que coloca mais poder de computação na geração de uma resposta.
“Nossos testes mostram que os modelos de raciocínio seguem e aplicam diretrizes de segurança de maneira mais consistente”, disse Openai.
