Por que o chatbot inventa respostas (e como impedir)

Um chatbot inventando respostas — dando um preço que não existe, prometendo um prazo que ninguém confirmou — acontece quando a IA não encontra a informação na base do negócio e, mesmo assim, tenta responder. Em vez de dizer “não sei”, ela “adivinha” algo plausível. Isso se chama alucinação, e tem três defesas reais: treinar a IA nos dados do seu negócio, instruir o modelo a não inventar quando falta contexto, e corrigir o que escapar pelo gap analysis.

Se você está pensando em automatizar o WhatsApp e o que te trava é justamente esse medo — o bot dizer algo errado em seu nome, para um cliente de verdade — este texto é para você.

O que é alucinação de IA (em português claro)

Alucinação é o termo técnico para quando uma IA generativa produz uma resposta que soa confiante e bem escrita, mas é falsa ou inventada. Não é um “bug” no sentido de erro de programação: é um comportamento esperado de como esses modelos funcionam.

Um modelo de linguagem (o tipo de IA por trás do ChatGPT e do AEX) não “sabe” fatos como um banco de dados sabe. Ele prevê, palavra por palavra, qual é a continuação mais provável de um texto, com base no que aprendeu num treinamento genérico, feito com bilhões de páginas da internet. Ele não tem acesso automático ao horário da sua loja, ao preço do seu produto ou à sua política de troca — a menos que alguém coloque essa informação na frente dele.

Quando falta o dado certo, dois caminhos são possíveis: o modelo diz “não sei” e para — ou ele completa a frase com o que parece uma resposta razoável para aquele tipo de pergunta. Sem instrução em contrário, ele tende ao segundo caminho, porque foi treinado para sempre produzir algum texto. É isso que vira “chatbot inventando respostas” na prática: preço chutado, prazo que não existe, promoção que ninguém fez.

Por que o chatbot inventa (de onde vem a resposta errada)

O gatilho mais comum é simples: pergunta sem contexto na base. O cliente pergunta algo que o seu negócio nunca cadastrou em lugar nenhum — nem no site, nem numa FAQ, nem num arquivo — e a IA genérica, sem essa trava, prefere arriscar uma resposta a admitir que não sabe.

Alguns padrões que aumentam o risco:

• IA “crua”, sem base do negócio. Um ChatGPT genérico plugado no WhatsApp, sem essa busca na sua base antes de responder — explicamos o mecanismo em como treinar a IA do WhatsApp —, não tem de onde tirar o seu preço real. Ele inventa porque é só o que resta.
• Base incompleta ou desatualizada. Faltou cadastrar a política de troca, ou o preço mudou e ninguém atualizou a FAQ — a IA tenta preencher a lacuna sozinha.
• Pergunta ambígua ou capciosa. “Tem desconto pra pagamento à vista?” quando isso nunca foi definido em lugar nenhum é terreno fértil para a IA “supor” uma regra que parece razoável.
• Sem instrução explícita contra isso. Se as instruções que comandam a IA não dizem claramente “não invente o que não está no contexto”, o modelo segue o comportamento padrão: sempre responder algo.

O estrago de uma alucinação no WhatsApp não é abstrato: é o cliente que chega na loja achando que o produto custava menos, ou que reclama porque “o robô disse que entregava hoje”. Confiança se perde rápido quando o atendente — humano ou IA — erra um fato.

Como impedir: IA presa à base do negócio

Não existe uma alucinação impossível — mesmo sistemas bem desenhados podem escapar em algum caso raro. Mas dá para reduzir isso a quase zero com três camadas, que se somam.

1. Treinar a IA na base do seu negócio

A primeira e mais importante defesa é dar à IA o que ela precisa saber, em vez de deixá-la adivinhar. É esse mecanismo de busca-e-resposta: antes de responder, a IA busca na sua base — site importado, FAQs, catálogo de produtos, arquivos — os trechos relevantes para aquela pergunta, e escreve a resposta com base neles. Se a informação está lá, ela cita o dado certo; se não está, ela sabe disso, porque a busca não trouxe nada.

Isso não é automático: depende de você alimentar a base com o que um atendente novo precisaria saber no primeiro dia — horário, preços, políticas, perguntas frequentes. Veja o passo a passo completo em como treinar a IA do WhatsApp com os dados da sua empresa e veja como montar a base do zero.

2. Instrução explícita: “não invente quando não tem contexto”

A segunda camada é o que fica escrito nas instruções que comandam a IA — a definição de como ela deve se comportar. Mesmo com uma base boa, sempre existe a pergunta que ninguém previu. Por isso, o modelo precisa ser instruído, de forma explícita, a não inventar dados do negócio quando a busca não encontra contexto suficiente. Em vez disso, ele deve dizer que vai confirmar, ou encaminhar a conversa para um humano.

É assim que o AEX é desenhado por padrão: quando a busca não traz trechos relevantes (ou traz, mas pouco parecidos com a pergunta), as instruções da IA mandam ela admitir que não tem a informação, em vez de arriscar um chute. Isso não substitui uma base bem cadastrada — é a rede de segurança para quando ela ainda tem furos.

3. Corrigir pelo gap analysis quando algo escapa

Nenhuma das duas camadas acima é perfeita sozinha. A terceira defesa não impede a alucinação antes de acontecer — ela garante que, se acontecer, você fica sabendo e corrige, em vez de descobrir pelo cliente insatisfeito.

Falamos do processo completo na próxima seção.

O que fazer quando a IA erra (corrigir e retreinar)

Se um cliente relatou (ou você percebeu) que a IA respondeu algo errado, o primeiro passo é reproduzir o problema, não adivinhar a causa. O guia a IA está respondendo errado ou inventando mostra como usar o Playground do painel para digitar a mesma pergunta que deu errado e ver exatamente como a IA respondeu e quais trechos ela usou (ou não encontrou):

• Se a IA chutou um dado (preço, horário, endereço), a informação simplesmente não estava cadastrada — o conserto é cadastrar no Perfil do negócio ou criar uma pergunta e resposta específica.
• Se ela respondeu genérico (“não tenho essa informação”), falta conhecimento mesmo — é hora de adicionar uma fonte ou uma FAQ.
• Se a resposta certa existe na base mas veio marcada como abaixo do limiar de similaridade, o jeito mais confiável de resolver é criar uma pergunta e resposta escrita do jeito que o cliente pergunta — elas têm prioridade na busca.

Esse ciclo de “reproduzir → corrigir na fonte → testar de novo” resolve o caso pontual. Mas para não depender de alguém notar e avisar, existe a análise de lacunas: o painel lista, agrupadas, as perguntas reais que os clientes fizeram e a IA não conseguiu responder bem — por falta de contexto, por ter caído na mensagem padrão, ou por baixa similaridade. Você ordena pelas que mais se repetem, transforma cada lacuna numa FAQ nova em poucos cliques, e a lacuna some do atendimento seguinte em diante.

Rodar essa análise toda semana é o que transforma “a IA errou uma vez” em “a IA aprendeu e não erra mais naquele ponto” — sem você ter que sair caçando o problema.

Perguntas frequentes

Isso pode acontecer no AEX? Pode, embora seja bem minimizado pelo design: a IA busca na sua base antes de responder e é instruída a não inventar quando falta contexto. Mas nenhuma IA é 100% infalível — é por isso que existem o gap analysis, para você achar e corrigir o que escapar, e o handoff para um humano nas conversas que pedem julgamento.

Alucinação é a mesma coisa que “bug”? Não. Um bug é um erro de programação — algo que quebra e pode ser corrigido no código. Alucinação é um comportamento esperado de modelos de linguagem quando faltam dados: eles preferem responder algo plausível a admitir “não sei”, a menos que sejam instruídos e municiados para o contrário.

Uma base pequena já reduz o risco? Sim, bastante. Mesmo uma base enxuta — horário, preços, políticas básicas e as 10 perguntas mais comuns — já cobre a maioria das conversas do dia a dia e tira boa parte do terreno onde a IA precisaria “inventar”. Base maior reduz ainda mais, mas não é tudo ou nada.

Como sei se meu bot está inventando sem eu perceber? É exatamente para isso que serve a análise de lacunas: ela mostra as perguntas que a IA não soube responder bem, mesmo que ninguém tenha reclamado. Revisar essa lista semanalmente é o hábito que pega o problema antes que vire reclamação de cliente.

---

Uma IA que nunca inventa é uma IA presa à verdade do seu negócio — e é assim que o AEX é desenhado. Treine a sua grátis, sem cartão, e teste as perguntas capciosas no playground antes de publicar. Para aprofundar: IA para WhatsApp e o guia do chatbot com IA.