Alucinação de IA: o que é e como não cair em análise errada

Você pergunta à IA qual campanha trouxe mais vendas em outubro. Ela responde em três segundos: “Remarketing Carrinho, com 312 pedidos e ROAS de 6,4”. A resposta tem nome de campanha real, número com cara de conferido e o tom de quem sabe. O problema: o seu Meta Ads registrou 187 pedidos nessa campanha, e o ROAS foi 3,1.
Ninguém mentiu de propósito. O modelo fez o que foi treinado para fazer: produzir a continuação mais provável para a sua pergunta. Quando ele não tem o dado, ou tem só um pedaço dele, a continuação mais provável continua sendo um número que parece verdade.
Alucinação de IA é quando um modelo de linguagem gera uma informação falsa ou sem base e a apresenta com a mesma confiança de uma resposta correta: um número inventado, uma fonte que não existe, uma citação que ninguém disse. Acontece porque o modelo prevê texto plausível em vez de consultar a verdade, e piora quando falta contexto ou dado.
Por que a IA alucina (e por que isso não é um bug que vai sumir)
Um LLM aprende padrões de linguagem em bilhões de textos. Na hora de responder, escolhe palavra a palavra o que tem mais chance de vir em seguida. Isso funciona muito bem para estrutura, tom e raciocínio geral. Para fatos específicos, como o faturamento da sua loja na terça ou o CPA de um conjunto de anúncios, o modelo só acerta se o dado estiver na frente dele: na conversa, num arquivo anexado ou numa ferramenta conectada.
Em setembro de 2025, a OpenAI publicou o estudo Why language models hallucinate com uma explicação incômoda: os próprios testes que medem a qualidade dos modelos premiam o chute. Se a métrica conta só acertos, responder “não sei” vale zero, e arriscar um palpite às vezes vale um ponto. O modelo aprende a arriscar.
O exemplo do estudo é didático. No teste SimpleQA, de perguntas factuais curtas, o o4-mini quase nunca se absteve e acertou 24%. O gpt-5-thinking-mini acertou um pouco menos, 22%, mas disse “não sei” em mais da metade das perguntas. Resultado: a taxa de erro caiu de 75% para 26%.
Para quem usa IA no negócio, a lição prática é esta: um modelo que admite não saber é mais útil do que um que acerta um pouco mais e erra com convicção no resto do tempo. Ranking de precisão não conta essa história.
Quais são os tipos de alucinação de IA?
Nem toda alucinação é igual, e cada tipo pede uma verificação diferente. Estes são os quatro que mais aparecem em trabalho de marketing e gestão:
| Tipo | Como aparece | Exemplo em análise de dados |
|---|---|---|
| Factual | Afirma algo falso sobre o mundo | “O GA4 gratuito guarda dados detalhados por 5 anos” (o máximo na versão gratuita é 14 meses) |
| Numérica | Inventa ou calcula errado um número | Soma de vendas que não bate com o ERP; taxa de conversão com o denominador trocado |
| De fonte | Cita estudo, link ou autor inexistente | “Segundo pesquisa da consultoria X, 68% dos varejistas…”, e a pesquisa não existe |
| De raciocínio | Dados certos, conclusão errada | Vê que vendas e investimento subiram juntos e conclui que um causou o outro |
A numérica é a mais perigosa para quem decide com dados. Fonte inventada você descobre ao clicar no link. Um ROAS três pontos acima do real entra direto na planilha de orçamento e ninguém volta para conferir.
Exemplos de alucinação de IA que custaram caro
O caso mais citado do último ano é o da Deloitte na Austrália. Um relatório de AU$ 440 mil feito para o Departamento de Emprego do governo australiano trazia referências acadêmicas inexistentes e uma citação inventada atribuída a uma decisão da Justiça Federal. Quem percebeu foi um pesquisador da Universidade de Sydney, depois da publicação. A consultoria devolveu a última parcela do contrato, segundo reportagem do The Register de outubro de 2025.
O ponto não é que a Deloitte usou IA. É que ninguém conferiu as referências antes de entregar. Numa PME, o equivalente é menos dramático e bem mais frequente:
- O relatório mensal da agência com um CPL que a IA “estimou” porque o export veio sem a coluna de leads.
- A análise de churn em que o modelo tratou clientes inativos como cancelados e dobrou a taxa.
- O comparativo de concorrentes com preços que a IA lembrava de dois anos atrás.
Em todos os casos, a resposta parecia certa. Essa é a armadilha: alucinação não vem com sinal de alerta.
Como identificar alucinação de IA numa análise de dados
Você não precisa desconfiar de tudo. Precisa saber onde olhar. Quatro perguntas resolvem a maioria dos casos em poucos minutos.
1. De onde veio esse número?
Peça a origem explícita: qual tabela, qual período, qual filtro. Uma ferramenta que consulta seus dados de verdade consegue mostrar a consulta, seja SQL, fórmula ou nome da aba. Se a resposta for genérica (“com base nos dados disponíveis”), trate o número como hipótese.
2. Dá para reproduzir?
Pegue um número da resposta e recalcule na plataforma de origem. Se a IA disse que o ticket médio de outubro foi R$ 186, abra o ERP e divida o faturamento do mês pelo número de pedidos. Bateu, siga. Não bateu, pare, porque o resto da análise provavelmente usou a mesma base errada.
3. A ordem de grandeza faz sentido?
Você conhece seu negócio melhor que qualquer modelo. Se sua taxa de conversão sempre ficou entre 1% e 2% e a IA mostra 8%, alguém trocou sessão por usuário ou pedido por item. Esse teste de bom senso pega muito erro sem abrir planilha nenhuma.
4. Qual é a contraprova?
Pergunte à IA: “o que tornaria essa conclusão errada?”. Um bom modelo aponta as fragilidades da própria análise, como amostra pequena, sazonalidade ou mudança no rastreamento. Se ele não encontra nenhuma, desconfie. Esse cuidado vale também para os vieses que distorcem decisões, que a IA herda de quem pergunta.
Como evitar alucinação de IA antes que ela aconteça
Verificar depois funciona. Evitar antes sai mais barato. Quatro práticas mudam o resultado de forma visível.
Entregue o dado em vez de pedir memória
Pergunta solta (“qual o CTR médio do Meta Ads?”) faz o modelo buscar na memória de treino. Pergunta com dado anexado (“aqui está o export de outubro, calcule o CTR por campanha”) faz ele calcular. É o princípio por trás do RAG e das ferramentas conectadas: o modelo responde a partir das tabelas que você forneceu, não do que lembra.
Autorize o “não sei”
Escreva no prompt: “se o dado não estiver disponível, diga que não está. Não estime”. Parece óbvio, mas muda o comportamento do modelo exatamente na direção que o estudo da OpenAI descreve. Há outros modelos de instrução no nosso guia de prompts para análise de dados.
Exija que o cálculo seja feito por ferramenta
Modelos de linguagem são ruins de conta de cabeça quando a tabela tem centenas de linhas. Peça que o cálculo seja feito em código ou SQL e que a consulta apareça na resposta. Um agente de IA com acesso à base faz isso por padrão: consulta, calcula e só então redige.
Arrume a base antes de perguntar
Se a coluna de receita mistura valor bruto e líquido, a IA vai somar os dois com toda a confiança. Alucinação e qualidade de dados andam juntas: dado bagunçado na entrada vira análise convincente e errada na saída.
Alucinação de IA tem solução?
Não por completo, e quem promete zero alucinação está vendendo algo. A taxa cai com modelos melhores, contexto bem fornecido e ferramentas que calculam em vez de lembrar. A responsabilidade pela decisão continua com quem assina o orçamento.
Na prática, a regra que funciona é proporcional ao risco. Para um rascunho de legenda, aceite o erro e revise rápido. Para mover R$ 50 mil de verba entre canais, exija a consulta, reproduza um número e peça a contraprova. Dez minutos de conferência custam pouco perto de realocar dinheiro com base num número que nunca existiu.
Perguntas frequentes
O que é alucinação de IA generativa?
É quando um modelo como ChatGPT, Gemini ou Claude produz conteúdo falso ou sem base e o apresenta como fato. Pode ser um dado, uma fonte, uma citação ou um evento. O nome vem da semelhança com perceber algo que não existe.
Qual é a taxa de alucinação da IA?
Depende do modelo e da tarefa. Em perguntas factuais difíceis, o estudo da OpenAI de 2025 mostrou taxas de erro entre 26% e 75% conforme o modelo. Quando o modelo resume um documento que você forneceu, o erro é bem menor, porque a fonte está na frente dele. Não existe um número único.
Quais são exemplos de alucinação de IA?
Citar artigos científicos que não existem, inventar jurisprudência em petições, atribuir frases a pessoas que nunca as disseram e, em análise de dados, apresentar métricas calculadas sobre números que o modelo não tinha.
Como saber se a IA está alucinando?
Peça a origem do dado, reproduza pelo menos um número na plataforma original, confira se a ordem de grandeza bate com o seu histórico e peça o argumento contrário. Se a ferramenta não consegue mostrar de onde tirou o número, trate como hipótese.
O ChatGPT inventa dados?
Pode inventar, principalmente quando você pergunta sobre números aos quais ele não tem acesso, como as métricas da sua empresa. Com o arquivo anexado e a instrução de não estimar, o risco cai bastante, mas a conferência continua necessária.
Alucinação não é motivo para deixar a IA fora da análise de dados. É motivo para escolher ferramentas que trabalham com os seus números de verdade e mostram o caminho até eles. É assim que o Sherlok funciona: você pergunta em português, ele consulta Meta Ads, Google Ads, GA4, CRM e planilhas conectados e devolve a análise com a origem de cada número, para você conferir antes de decidir.
Seus agentes de IA já sabem o que fazer na sua conta.
Ligue grátis, sem cartão.
- Sem cartão
- Acesso só de leitura
- Você revoga quando quiser