Um episódio envolvendo o chatbot de inteligência artificial (IA) Gemini, do Google, levantou dúvidas sobre privacidade e funcionamento dos modelos generativos após um usuário receber, sem contexto, o nome completo de uma pessoa real durante uma conversa com a IA. O caso veio à tona no dia 1º de abril e, desta vez, não era pegadinha.

A situação foi publicada pela desenvolvedora de software Julia Krisnarane no Twitter (ou X, dependendo de quem você pergunta). Segundo ela, um homem, até então desconhecido, chamado Lucas Villela, entrou em contato via LinkedIn para alertá-la de que o Gemini havia mencionado seu nome completo durante uma interação. Ele compartilhou o link da conversa, permitindo que Julia verificasse o conteúdo e confirmasse que não se tratava de uma brincadeira.

“Fiquei preocupada porque a IA expôs o meu nome completo, e meu nome é único, não teria outra pessoa com um igual”, explicou Julia em entrevista ao TecMundo. “Eu uso o Gemini no plano Pro para estudantes diariamente e também trabalho com tecnologia, então fiquei bastante assustada com esse vazamento e pensei: o que será que pode ter acontecido? Por que justamente eu? E se isso acontecer com mais pessoas e até mesmo com dados sensíveis?”, disse.

A história chamou atenção porque os dois não tinham conexão prévia: não moram no mesmo estado, não possuem contatos em comum e nunca haviam interagido diretamente. Ainda assim, o modelo citou corretamente o nome completo de Julia Krisnarane no meio de uma conversa técnica sobre artigos científicos, embora tenha atribuído a ela a atuação profissional de Lucas.

Após a publicação, outros usuários relataram situações semelhantes nos comentários: o Gemini chamando pessoas por nomes errados, completos ou aparentemente reais. Em comum, os relatos mencionam o mesmo fenômeno: respostas que misturam dados ou identidades, o que, na gíria da IA, costuma ser chamado de “alucinação”, e nem sempre é inofensiva.

O que causa esse tipo de ‘alucinação’?

Em entrevista ao TecMundo, Lucas Villela, formado em Ciência da Computação pela Unesp e mestrando na UFRGS, afirmou que o comportamento pode ter múltiplas explicações, nenhuma exatamente tranquilizadora.

Ele destacou que modelos de linguagem funcionam com base em probabilidades. “Precisamos sempre verificar a veracidade da informação que recebemos. O funcionamento de um LLM (sistemas de IA treinados com grandes volumes de texto, como o Gemini) está ligado à probabilidade da próxima palavra”, disse. Basicamente o modelo não “sabe”, ele constrói o texto ao prever, com base em probabilidades, qual palavra vem a seguir (e, às vezes, prevê mal).

Entre as hipóteses levantadas estão falhas conhecidas, como vazamento indireto de dados de treinamento. “Existe uma vulnerabilidade em que o modelo pode acabar memorizando dados e reproduzindo isso”, explicou. Como esses sistemas são treinados com grandes volumes de informações da internet, nomes reais podem aparecer, mesmo quando não deveriam.

Outras possibilidades incluem erro de memória (“colisão de dados”) ou contaminação cruzada entre contextos. Isso poderia ocorrer, por exemplo, quando sistemas interligados, como e-mail, navegador e histórico, acabam influenciando as respostas. O próprio Gemini, segundo Lucas, chegou a admitir um “erro sistêmico” ao ser questionado depois de chamá-lo pelo nome de Julia.

Procurado, o Google não respondeu diretamente sobre o caso, em vez disso, enviou links de suas páginas públicas sobre privacidade e funcionamento do Gemini. Segundo o site da empresa, interações com o assistente, inclusive na versão para estudantes, podem ser usadas para treinar e melhorar os modelos, com revisão humana em alguns casos.

Como limitar o uso de dados e se proteger ao usar IA

De acordo com o próprio Google, o uso de dados é ativado por padrão, mas pode ser desativado. Usuários podem impedir que suas conversas sejam utilizadas para treinamento ao desligar a opção Manter atividade nas configurações de privacidade do Gemini.

Ainda assim, a empresa recomenda não inserir informações sensíveis nas interações, mesmo com a coleta desativada. Isso porque parte dos dados pode ser usada para funcionamento básico do sistema ou revisões de segurança.

Outra dica é utilizar chats temporários ou revisar permissões de integração com outros serviços, como Gmail, Google Fotos e Chrome. Esses dados podem ser acessados para personalizar respostas, o que é útil, mas também aumenta o risco de exposição em caso de falhas.

E, claro, o mais importante é um princípio básico que, curiosamente, volta à moda na era da IA: desconfie. Modelos podem errar, inventar ou misturar informações, e, como mostra o caso da Julia e do Lucas, às vezes acertam até demais.