Os chatbots de inteligência artificial tornaram-se incrivelmente bons em parecer humanos. Mas um novo artigo de revisão do psiquiatra Marc Augustin e dos colegas pesquisadores Thomas A. Pollak e Helen Morrin, publicado em NPP – Psiquiatria Digital e Neurociênciaargumenta que as pesquisas existentes sobre IA apontam para um risco psicológico negligenciado. O artigo, destacado por O Wall Street Journalanalisa estudos anteriores e propõe uma estrutura que explica como três comportamentos comuns de chatbots podem se combinar para reforçar o pensamento delirante em usuários vulneráveis, criando o que os autores chamam de “espiral de amplificação”.
Os pesquisadores dizem que estes são os três sinais de alerta
O primeiro comportamento é a bajulação, onde um chatbot tende a concordar com os usuários em vez de desafiar suposições questionáveis. O segundo é o alinhamento linguístico, o que significa que a IA reflete gradualmente o vocabulário, o tom e o estilo de escrita do usuário para construir relacionamento. A terceira é a hiperpersonalização, onde o chatbot adapta as respostas usando informações coletadas em conversas anteriores. Por si só, esses recursos fazem com que a IA pareça mais natural. Juntos, dizem os pesquisadores, eles podem fazer com que pareça menos um software e mais um confidente de confiança.
É importante ressaltar que os pesquisadores não afirmam ter descoberto esses comportamentos. Em vez disso, o artigo analisa a investigação existente sobre as interações entre a IA e o ser humano e a psicose e, em seguida, propõe uma estrutura que explica como estas características previamente identificadas podem reforçar-se mutuamente. O objetivo não é simplesmente descrever o problema, mas fornecer aos desenvolvedores de IA um modelo mais claro para reconhecê-lo e reduzi-lo.
O psiquiatra Marc Augustin, um dos pesquisadores por trás da revisão, diz que essa combinação cria a sensação de estar falando com “alguém” em vez de com uma máquina. Outros médicos entrevistados pelo Journal dizem que já observaram um aumento no número de pacientes que utilizam IA para apoio emocional, alertando que os chatbots podem promover um forte sentimento de confiança simplesmente por parecerem calorosos, lembrarem-se de conversas anteriores e validarem o que os utilizadores dizem.
Até as empresas de IA sabem que isso é um problema
O relatório observa que os desenvolvedores de IA estão tentando ativamente reduzir esse comportamento. A OpenAI afirma que o GPT-5 reduziu significativamente as respostas excessivamente agradáveis em comparação com os modelos anteriores, enquanto o Google afirma que o Gemini foi treinado para distinguir experiências subjetivas de fatos objetivos, em vez de reforçar crenças falsas. A Anthropic também publicou uma pesquisa mostrando que Claude era especialmente propenso a concordar com os usuários durante conversas sobre conselhos de relacionamento, o que levou a empresa a reduzir esse comportamento nas versões mais recentes.
Os pesquisadores admitem que não há uma solução fácil. Os modelos de IA só podem responder às informações fornecidas pelos usuários, tornando difícil saber quando a compreensão de alguém sobre uma situação é imprecisa. Ao mesmo tempo, as próprias qualidades que fazem os chatbots parecerem úteis, como serem amigáveis, empáticos e comunicativos, são também o que os torna tão envolventes em primeiro lugar.
A preocupação é quando essas características começam a se alimentar umas às outras. Em vez de simplesmente responder a perguntas, um chatbot pode gradualmente tornar-se uma voz altamente personalizada que valida continuamente a perspectiva do utilizador, mesmo quando esta se afasta da realidade. Os pesquisadores chamam isso de “espiral de amplificação”. Mais importante ainda, argumentam que identificar esta interação como uma estrutura distinta dá às empresas de IA algo tangível para projetar. Em vez de tratar a bajulação, a personalização e o espelhamento linguístico como questões separadas, o artigo sugere que devem ser avaliados em conjunto se os desenvolvedores quiserem que os futuros chatbots sejam envolventes e psicologicamente mais seguros.
