DuckDuckGo construiu sua reputação com base na pesquisa que prioriza a privacidade, mas esta semana, seu assistente de IA caiu em maus lençóis por um motivo totalmente diferente. Aparentemente, Duck.ai afirmou com confiança que o presidente dos EUA, Donald Trump, morreu de raiva no início deste mês, com detalhes fabricados sobre o vice-presidente JD Vance, Robert F. Kennedy Jr., e falsas notícias de apoio. Nada disso period verdade.
Uma campanha falsa do Reddit conseguiu enganar a IA de Duck
De acordo com Futurismoa resposta bizarra não foi resultado de uma única alucinação. Em vez disso, parece ter sido desencadeado por uma campanha coordenada de desinformação originada da comunidade r/poisonai do Reddit, onde os utilizadores publicam deliberadamente histórias falsas absurdas destinadas a “envenenar” modelos de pesquisa de IA. Neste caso, os membros inundaram a Web com alegações forjadas de que JD Vance tinha morrido de raiva antes de Donald Trump supostamente sucumbir à mesma doença, até criando artigos de notícias falsos e falsificando websites de notícias locais para reforçar a narrativa.
Duck.ai não foi a única vítima. O Futurismo também descobriu que a IA do Courageous Search repetiu afirmações falsas semelhantes antes de se corrigir posteriormente. Enquanto isso, DuckDuckGo reconheceu o erro no Reddit com uma resposta irônica: “Okay, fomos evitados neste.” A empresa disse que o problema foi resolvido e acrescentou que o Search Help foi “deliberadamente enganado”, prometendo melhorias para lidar melhor com ataques semelhantes no futuro.
O relatório também observa que a história falsa ganhou credibilidade porque a pesquisa de IA citou um web site fabricado que se passava por um meio de comunicação native legítimo, que parecia ter sido gerado usando IA e costurado a partir da mesma farsa do Reddit. Em outras palavras, a IA não estava simplesmente inventando coisas. Estava repetindo com confiança informações erradas que foram deliberadamente plantadas na net.
Isso tem menos a ver com DuckDuckGo e mais com o futuro da pesquisa de IA
O engraçado é que isso não é realmente um problema do DuckDuckGo. É um problema de pesquisa de IA. Os assistentes modernos de IA dependem cada vez mais de informações recolhidas na Net e, se for publicado conteúdo falso suficiente em locais suficientes, esses sistemas podem começar a tratar a ficção como facto.
É isso que torna este incidente tão preocupante. Passamos anos nos preocupando com as respostas alucinadas da IA do nada, mas tentativas coordenadas de envenenar a pesquisa da IA podem ser ainda mais perigosas. Se os malfeitores conseguem manipular o que os modelos de IA “aprendem” simplesmente inundando a Web com informações falsas convincentes, então melhorar a IA já não se trata apenas de construir modelos mais inteligentes. Trata-se de construir sistemas que saibam em quem e em que devem confiar.
