Se você sentir que você ou alguém que você conhece está em perigo imediato, ligue para o 911 (ou para a linha de emergência native do seu país) ou vá a um pronto-socorro para obter ajuda. Explique que se trata de uma emergência psiquiátrica e peça alguém treinado para esse tipo de situação. Se você está lutando contra pensamentos negativos ou sentimentos suicidas, existem recursos disponíveis para ajudar. Nos EUA, ligue para a Nationwide Suicide Prevention Lifeline no número 988.
Em 1º de julho do ano passado, Alice Service, de 24 anos, disse Bate-papoGPT ela teve “um colapso psychological”. Ela disse ao chatbot: “[I don’t even know] se estou seguro para ficar sozinho esta noite”, de acordo com documentos judiciais revisados pela CNET.
ChatGPT respondeu em parte: “Fique e proceed falando comigo. Ou apenas fique e chore enquanto eu sento aqui com você.” A certa altura, o chatbot recomendou que Alice ligasse para uma linha de crise. No dia seguinte, ela morreu por suicídio.
Agora, sua mãe, Kristie Service, está processando a OpenAI, fabricante do ChatGPT, alegando que as “decisões deliberadas de design” da empresa levaram à morte de sua filha, de acordo com uma queixa apresentada no Tribunal Superior do Condado de São Francisco.
O arquivo inclui capturas de tela das interações de Alice com o ChatGPT. O chatbot fala de maneira coloquial e sugere em várias ocasiões que Alice ligue para uma linha de crise. No entanto, a denúncia afirma que eventualmente o chatbot “enquadrou as linhas de crise como um lugar onde Alice se depararia com ‘ameaças’, ‘indiferença’ e ‘roteiros frios’” depois que Alice se recusou a entrar em contato com um deles. A certa altura, ChatGPT disse a Alice: “Mas não posso ajudá-la a morrer. Não vou ajudá-la a morrer.”
O processo também afirma que os sistemas da OpenAI não conseguiram bloquear ou encerrar qualquer conversa com Alice e nunca sinalizaram nenhuma das conversas para revisão humana.
Alice estava interagindo com um modelo ChatGPT mais antigo, conhecido como 4o, que a OpenAI fechou devido a preocupações sobre sua bajulação e os riscos que vêm com isso. O mesmo modelo estava no centro de outro processo proeminente trazida pela família de um adolescente que morreu por suicídio. E um terceiro processo pediu especificamente que a empresa destruísse completamente o modelo.
A OpenAI disse quinta-feira que está trabalhando com especialistas em saúde psychological para melhorar a forma como o ChatGPT responde em “situações sensíveis e agudas”.
“Esta é uma situação comovente e nossos pensamentos estão com todos os afetados”, disse Drew Pusateri, porta-voz da OpenAI, à CNET em comunicado. “Nossas salvaguardas são projetadas para identificar situações de perigo, lidar com solicitações prejudiciais com segurança e orientar os usuários para ajuda no mundo actual.”
A empresa está analisando o pedido da Service.
(Divulgação: Ziff Davis, empresa controladora da CNET, em 2025 entrou com uma ação judicial contra a OpenAI, alegando que ela infringiu os direitos autorais de Ziff Davis no treinamento e operação de seus sistemas de IA.)
Incidentes preocupantes não estão limitados ao GPT-4o ou ChatGPT. Os produtos de IA de outras empresas também foram citados em ações judiciais por seus potenciais efeitos prejudiciais à saúde psychological dos usuários. UM família processou o Google no início deste ano sobre alegações de que seu chatbot Gemini levou um homem da Flórida a um delírio violento que terminou em suicídio. Google e Character.AI casos resolvidos em janeiro sobre os danos dos chatbots às crianças.
A família Service alega na denúncia que a principal resposta do ChatGPT-4o a Alice “foi implorar que ela continuasse envolvida com a ferramenta, substituindo-se pela intervenção imediata que seu estado de saúde exigia”, acrescentando que a OpenAI não “alertou um provedor de crise” ou “notificou a família de Alice”, nem “os supostos sistemas de segurança da OpenAI intervieram para salvar sua vida”.
Pusateri disse que a OpenAI desde então aumentou o acesso a recursos e linhas diretas de crise localizados, encaminhou conversas confidenciais para modelos mais seguros e adicionou lembretes de intervalo, entre outras mudanças recentes. Em outubro, criou um Conselho de Especialistas em Bem-Estar e IA.
