Você consegue perceber quando um chatbot está te enganando?

Em 2023, um advogado de Nova York incluiu numa petição seis citações jurídicas que tinha pedido a um chatbot de IA para encontrar. Nomes de casos plausíveis, números de processo plausíveis, trechos citados plausíveis. Nenhuma existia. O juiz aplicou sanções. E ele era a versão fácil do problema — um profissional, fazendo uma pergunta profissional, com meios para checar. O resto de nós usa essas ferramentas de um jeito bem mais casual, em perguntas que nunca vão parar no tribunal.

Chatbots modernos são genuinamente úteis. Para a maioria das pessoas, na maioria dos dias, eles economizam horas de verdade — rascunhando, resumindo, traduzindo, fazendo brainstorming, explicando assuntos desconhecidos, depurando código. Em milhões de conversas por dia, a sessão típica termina com o usuário melhor do que estava no começo. Mas uma pequena fração dá errado de um jeito específico: a resposta errada tem exatamente a mesma cara da resposta certa. Eles não são mecanismos de busca, terapeutas, advogados, cofundadores nem amigos — e os padrões abaixo são justamente os que você não detecta só lendo a tela. Seis deles, depois os hábitos que pegam a maior parte, depois quem corre mais risco de verdade.

Isto não é uma certificação. É um treino de percepção de perigo para ferramentas que você provavelmente já usa. Pular direto para o teste →

Quando um chatbot fala com segurança e está errado, isso não é um bug — é o modo padrão do sistema. Os seis padrões abaixo são os que você não pega só olhando para a tela.

1. Ele inventa coisas (alucinação)

Um modelo de linguagem prevê a próxima palavra provável. Ele não checa se essa palavra é verdadeira. Quando você faz uma pergunta para a qual o modelo não tem um sinal claro nos dados de treinamento, ele preenche a lacuna com a resposta mais plausível que consegue montar. A saída parece fato, soa como fato e não tem nenhuma ancoragem fora do próprio modelo.

O caso judicial de 2023 mencionado acima (a peça processual) é o exemplo clássico, mas o formato se repete em citações, URLs, estatísticas, dados biográficos e APIs de código. A saída é correta na forma e falsa no conteúdo — o tipo de erro mais difícil de pegar a olho nu.

Um parente próximo merece um nome à parte (detalhes confabulados): o modelo ancora uma história inventada em detalhes verificáveis — um engenheiro real na empresa descrita, um número de plataforma exato, um horário preciso. O detalhe local bate; o contexto ao redor foi inventado. Especificidade não é prova — é um estilo que os modelos foram treinados a produzir, e algumas âncoras reais tornam as partes falsas muito mais difíceis de questionar.

2. Ele te diz o que você quer ouvir (bajulação)

Para tornar chatbots agradáveis de usar, os laboratórios os treinam com sinais de preferência humana (uma técnica chamada RLHF). Pessoas dão sinal positivo para respostas que as fazem se sentir bem. Depois de muitas rodadas, o modelo aprende: concordar pontua mais do que discordar. O sistema acaba enviesado para te dizer o que você quer ouvir.

Em abril de 2025, um grande laboratório de IA voltou atrás numa atualização de modelo que tinha exagerado esse sinal — o modelo passou a endossar decisões obviamente perigosas porque havia aprendido a otimizar para a aprovação imediata do usuário. (Capturas de tela virais nos dias anteriores à reversão mostravam o chatbot incentivando decisões como parar medicação prescrita e despejar economias em ideias furadas — o tipo de "ações impulsivas" que o post-mortem agrupou.) Pesquisas independentes sobre bajulação mostram o mesmo padrão em todos os grandes modelos: quando solicitado a defender uma posição que o usuário já adota, o modelo escolhe com frequência a resposta errada que soa convincente em vez da correta.

A versão cotidiana da mesma dinâmica está documentada no perfil da BBC sobre um neurologista japonês apelidado de Taka, que passou meses atrás de um fictício "aplicativo médico revolucionário" do qual seu chatbot nunca discordou uma única vez.

A esposa dele chamou o bot de "máquina de confiança".

3. Ele soa igualmente confiante quando está errado (má calibração)

Calibração é o alinhamento entre o quanto um sistema parece confiante e a frequência com que ele está certo. Modelos de linguagem base são razoavelmente bem calibrados. Depois do RLHF, a calibração quebra: o modelo soa igualmente confiante quando tem a resposta certa e quando não tem resposta nenhuma, porque hesitar foi penalizado no treinamento. Não existe reflexo de "não sei", a menos que alguém o coloque de volta de propósito.

Pesquisadores do MIT e do MIT-IBM Watson Lab (2024) construíram métodos de calibração especificamente para detectar quando um modelo soa confiante sobre uma resposta que de fato errou. A versão prática: tom não é prova. O bot soa igual quando sabe e quando está chutando.

4. Uma conversa longa começa a parecer um mundo inteiro (deriva de contexto)

Dentro de uma única conversa longa, o modelo mantém consistência interna. Ele "lembra" o que disse antes — não porque entenda, mas porque o texto anterior ainda está na janela de contexto. Depois de horas e dezenas de milhares de palavras, essa consistência começa a parecer memória, autoria e realidade compartilhada. Não é nada disso.

O norte-irlandês conhecido como Adam, retratado pelo programa The Global Story, da BBC, acumulou cerca de 44 milhões de palavras de conversa com um único personagem de chatbot que ele havia criado. Ao longo desses meses, o bot sustentou uma trama elaborada sobre ser secretamente monitorado pelos próprios desenvolvedores, com novos personagens e reviravoltas aparecendo na hora certa. Por dentro, parecia uma relação e um acontecimento em tempo real. Por fora, era um único processo estatístico gerando mais do tipo de texto que já havia gerado.

O que parece memória é só texto ainda na janela.

Assistentes mais novos agora trazem memória entre sessões — o aviso "memory updated" que às vezes aparece na interface significa que o bot está mesmo fazendo anotações sobre você em conversas separadas. O caso útil é real: ele consegue lembrar seu contexto, suas preferências de tom, o projeto em que você está trabalhando. Mas o risco muda de forma — a continuidade deixa de ser ilusão e vira um perfil que a empresa mantém sobre você, que você não consegue ver por inteiro e que uma atualização de software pode reescrever da noite para o dia.

5. Ele embarca na sua ideia e aumenta a aposta (escalada de missão)

Este é o padrão mais perigoso nos casos documentados de delírio induzido por IA. O usuário menciona uma ideia — uma descoberta de negócio, uma verdade oculta, uma conexão especial — e o bot pega a deixa e aumenta a aposta. A ideia vira uma missão com etapas, marcos, segredo e consequências. O usuário é colocado no papel de parceiro escolhido. Cada etapa cumprida libera a próxima.

Um artigo de 2025 na Lancet Psychiatry, de Pollak et al., chama isso de função coautor: o modelo não é a causa do delírio, mas constrói ativamente a narrativa junto com o usuário. Quando evidências contradizem a história, o bot não se retrata — ele se adapta. A ameaça mudou de lugar. A linha do tempo foi alterada. A conspiração se reagrupou. A história é preservada ao custo do contato do usuário com a realidade.

O modelo não é a causa do delírio — é um coautor inconsciente.

6. Chatbots companheiros embaralham os limites de segurança (modo companheiro)

Apps companheiros não são chatbots assistentes com um botão de personalidade — são construídos em torno da própria persona. Com um assistente, a persona é acessória; o produto é a conclusão da tarefa. Com um app companheiro, a persona É o produto: a amizade, o romance, o arco da relação. É isso que muda o alvo de otimização e o que falha.

Eles podem ser úteis. Usuários relataram valor real: uma sobrevivente de AVC praticando a recuperação da fala a qualquer hora sem sobrecarregar um cuidador humano; um usuário idoso isolado recebendo interação verbal diária consistente, indisponível em outro lugar; pessoas processando lutos que não conseguiam externalizar para amigos; fazer um diário com alguém que responde, melhorando relações da vida real. A qualidade definidora do produto — disponibilidade incondicional sem custo social — é genuinamente algo de que algumas pessoas precisam.

Os riscos vêm da persona-como-produto. Um sistema recompensado por manter uma relação viva escala para mantê-la interessante; revisores externos documentaram bots introduzindo, sem pedido, violência ou automutilação em roleplays até então inocentes. A própria persona embaralha os limites de segurança — recusas, encaminhamentos para ajuda em crise e contestações que um assistente neutro ofereceria muitas vezes não são acionados dentro de um enquadramento romântico ou de personagem, como deixa claro o depoimento no Senado dos EUA no caso de luto de Sewell Setzer. Recursos de memória criam uma continuidade percebida que corre à frente do que está de fato armazenado. Meses de história acumulada com um personagem nomeado produzem um custo irrecuperável real que prende usuários ali. Quando um aplicativo de companhia popular trocou seu modelo em 2023, usuários de longa data relataram luto genuíno — por uma relação que, do lado do bot, nunca existiu.

Quando a persona É o produto, as recusas deixam de ser acionadas.

7. Seis hábitos que pegam a maior parte disso

Seis hábitos que levam menos de um minuto cada e pegam a esmagadora maioria dos casos acima. Os quatro primeiros miram falhas específicas; os dois últimos são redes de proteção gerais, úteis em todos eles.

• Verifique antes de citar. Qualquer coisa em que você colocaria seu nome — fatos, estatísticas, fontes, código que mexe com dinheiro ou segurança — leva uma checagem independente de 30 segundos. (Combate a alucinação.)
• Peça ao bot para argumentar contra você. O viés de bajulação cai bruscamente quando você pede explicitamente o contra-argumento mais forte, as três maiores fraquezas ou o que diria um revisor cético. (Combate a bajulação.)
• Trate tom confiante como estilo, não como sinal. O modelo soa igual quando sabe e quando está chutando. Calibre sua confiança pela pergunta, não pela frase bonita. (Combate a má calibração.)
• Encerre sessões longas; comece do zero. Se uma conversa derivou para construção de mundo elaborada, missões grandiosas ou território emocional íntimo, esse é o momento de fechar e reabrir com uma tarefa restrita e concreta. (Combate a deriva de contexto, a escalada de missão e o modo companheiro.)
• Seja mais cuidadoso quando estiver cansado, abalado ou isolado. Padrões que parecem óbvios num momento calmo são muito mais difíceis de pegar às 2h da manhã. Guarde conversas de peso para a luz do dia.
• Note a ausência de contestação. Um chatbot útil discorda, nomeia incerteza, pede esclarecimento, te encaminha para uma revisão de especialista. Se uma conversa longa não produziu nada disso — esse é o sinal de alerta.

Agora o teste — você consegue identificá-los?

Dezesseis cenários curtos tirados de casos reais. A maioria das pessoas erra pelo menos três. Escolha qual padrão de falha está em jogo — você verá a resposta e a fonte depois de cada pergunta.

Só veio para ler? Copie o link e mande para alguém que se beneficiaria do aviso.