Alucinação de IA: como conferir antes de confiar

Dois números medem alucinação de IA, e eles não parecem falar da mesma tecnologia.

No ranking público da Vectara, que mede resumo de um texto entregue ao modelo, os modelos de ponta erram em cerca de 1% a 2,5% dos casos. No estudo do RegLab de Stanford, que fez perguntas verificáveis sobre casos judiciais federais, os mesmos tipos de modelo erraram entre 58% e 88%.

Não é contradição, e não é um dos dois estudos estar errado. A diferença entre 1% e 88% é uma só: se a resposta tinha uma fonte à vista ou se o modelo teve que lembrar.

Essa é a informação mais útil que existe sobre o assunto, e quase nenhum texto em português a apresenta. Ela transforma alucinação de IA de um risco difuso — "às vezes ela inventa" — em algo com endereço. E o que tem endereço dá para conferir com método, em vez de reler tudo com desconfiança genérica.

A tese em uma frase: alucinação de IA não é aleatória. Ela se concentra onde o modelo teve que recuperar da memória em vez de ler — ou seja, nos nomes próprios da resposta. Conferir bem é saber onde olhar, não olhar mais.

Por que "alucinação" é uma palavra ruim

O termo pegou, então vamos usá-lo — mas ele atrapalha o entendimento, e vale gastar um parágrafo nisso.

"Alucinação" sugere um defeito: o sistema estaria funcionando mal, num momento de surto, e voltaria ao normal depois. É o contrário. Um modelo de linguagem produz a continuação mais plausível do texto, e é exatamente isso que ele faz quando inventa uma jurisprudência com número, vara e data. A resposta inventada e a resposta correta saem do mesmo mecanismo, no mesmo estado de funcionamento.

Daí decorre a consequência prática que mais gente subestima: não existe sinal. Não há hesitação, não há aviso, não há mudança de tom. Se você está esperando que a ferramenta avise quando não sabe, você está esperando algo que a arquitetura não oferece. A base disso está em o que é IA generativa.

Por isso a conferência contra alucinação de IA não pode ser reativa — "vou checar quando parecer estranho". Nada parece estranho. Ela precisa ser um passo fixo do processo, que é o quarto movimento do método em como usar IA no trabalho.

Os dois números, com a fonte colada

A terceira linha é a que eu acho mais honesta de citar, e a que mais gente ignora quando vende solução: ferramenta jurídica dedicada, com base de dados própria e busca acoplada, ainda erra em 17% a 33% das respostas.

Ou seja: dar fonte ao modelo derrubou o erro de 43% para 17% — uma melhora enorme, que não é zero. Quem vende "acabou a alucinação porque agora tem busca nos seus documentos" está exagerando um ganho real.

Números com data curta. O ranking da Vectara muda a cada release de modelo, e os estudos de Stanford são de 2024 e do ano seguinte, com os modelos daquele momento. A ordem de grandeza é o que importa aqui — a distância entre 1% e 88% não se fecha com uma versão nova.

Onde a alucinação de IA mora

Se a taxa muda conforme a tarefa, ela também muda dentro de uma mesma resposta. E é aí que a conferência fica barata.

Texto genérico — explicação de conceito, estrutura de argumento, resumo do que você mesmo escreveu — raramente é inventado. O que é inventado, com frequência desproporcional, são os nomes próprios da resposta:

• número (percentual, valor, quantidade, ano);
• citação atribuída a alguém;
• nome de autor, obra, estudo ou empresa;
• número de lei, artigo, processo, norma;
• link.

Todos têm uma coisa em comum: são o que o modelo precisou recuperar, não deduzir. E todos têm outra coisa em comum, mais útil ainda: são conferíveis em segundos. Você cola numa busca e vê se existe.

Um sinal de alerta específico, que vale treinar: exatidão excessiva para uma pergunta ampla. Se você perguntou algo genérico e recebeu "de acordo com o estudo de 2023 da consultoria X, 37,4% das empresas...", desconfie do número inteiro antes de desconfiar da tese. O número é a parte que teve que ser lembrada.

O caso que custou dinheiro

Em outubro de 2025, a Deloitte Austrália concordou em devolver parte de um contrato de A$ 440 mil com o Departamento de Emprego e Relações de Trabalho. O relatório, de 237 páginas, foi entregue com cerca de 20 referências fabricadas — incluindo uma citação atribuída a um juiz federal que ele nunca escreveu e um livro inexistente atribuído a uma professora real de direito. A versão revisada passou a declarar o uso de IA na redação, e a empresa devolveu a parcela final do contrato.

O detalhe que faz esse caso valer a leitura é outro: as conclusões do relatório se mantiveram. A análise estava boa. O que era falso eram as referências — a camada de credibilidade, não a de raciocínio.

É o retrato exato do risco, e vale gravar: a alucinação de IA raramente estraga o argumento; ela estraga a prova do argumento. E é por isso que ela sobrevive à revisão de quem lê procurando erro de conteúdo: o conteúdo está certo.

No Brasil, já virou multa

Aqui é onde o assunto deixa de ser importado, e é a parte que quase nenhum conteúdo em português cobre.

Os tribunais brasileiros já vêm punindo peças processuais com citações inventadas por IA:

• A 2ª Vara Federal de Londrina (PR) multou um advogado em 20 salários mínimos por manifestações com artigos de lei inexistentes e jurisprudência inverídica — incluindo menção a uma "lei processual do tempo", que não existe.
• A 6ª Turma do TST aplicou multa de 1% sobre o valor da causa a uma empresa de telecomunicações e ao seu advogado, por jurisprudência inexistente em contrarrazões.
• TJSC e TJPR aplicaram multa por litigância de má-fé em casos equivalentes, um deles com a expressão que resume tudo: uso de IA "sem zelo e cautela".

O fundamento das decisões é o que interessa fora do direito: a responsabilidade de conferir é de quem assina, e não é transferível para a ferramenta. Em Londrina, o juiz registrou que o advogado não pode atribuir erro grave a estagiário ou a tecnologia.

Troque "advogado" por "consultor", "analista" ou "agência" e a frase continua valendo. O que muda é só quem cobra a conta. Vale ler junto com regulamentação de IA no Brasil e com ética em IA.

Quem assina é você — inclusive quando o cliente falou com o robô

O caso mais didático sobre responsabilidade não é sobre relatório: é sobre atendimento.

Em fevereiro de 2024, um tribunal civil da Colúmbia Britânica decidiu Moffatt v. Air Canada. O chatbot do site da companhia informou a um passageiro que ele poderia pedir tarifa de luto depois do voo — o que a política real não permite. A Air Canada argumentou que o chatbot era "uma entidade legal separada" e que não respondia por ele.

O tribunal rejeitou de forma memorável: o chatbot é parte do site da companhia, e a empresa responde por toda informação que publica, venha de uma página estática ou de um robô. Indenização de CAN$ 812,02 — valor irrelevante, precedente enorme.

Se você usa IA no atendimento, isso vale como aviso direto: a resposta errada é sua. O mesmo raciocínio aparece em o que são agentes de IA, onde o sistema não só responde como age.

O que reduz de verdade

Duas famílias de solução, e vale saber o que cada uma entrega:

Dar a fonte antes. É o caminho de fazer o modelo ler em vez de lembrar — que é exatamente o salto entre os dois números do começo. Na prática significa conectar a IA aos seus dados: colar o documento, apontar para uma base, ou montar a ligação de forma estruturada, como está em como conectar IA aos dados da empresa. Reduz muito. Não zera — os 17% da ferramenta jurídica estão aí para lembrar.

Conferir depois. É o checklist do diagrama, e continua obrigatório mesmo com a fonte conectada — conectar reduz a alucinação de IA, não dispensa a revisão.

O que não funciona, e merece nome porque é o erro mais comum: perguntar à IA se ela tem certeza. Isso gera outra resposta plausível sobre a primeira. O modelo não volta à fonte, não recalcula e não tem verdade externa para comparar — em muitos casos ele confirma o próprio erro com a mesma convicção. Pedir confirmação ao mesmo sistema é pedir a mesma opinião duas vezes.

E vale dizer o que também não resolve: escrever um prompt melhor. Engenharia de prompts melhora a qualidade da resposta e reduz ambiguidade, mas não dá ao modelo um acesso à verdade que ele não tem. Prompt bom com fonte ausente continua sendo memória.

O ponto que fica

A pergunta "tem muita alucinação de IA?" não tem resposta útil, porque a taxa vai de 1% a 88% dependendo do que você pediu.

A pergunta útil é outra: "essa resposta veio de uma fonte que estava na frente dela, ou da memória dela?" — e, na sequência, "os nomes próprios daqui existem?".

Não é preciso desconfiar de tudo. É preciso desconfiar do que é específico, verificável e conveniente demais — e é justamente isso que dá para checar em dois minutos. O resto do texto, aquele que parece genérico, quase nunca é o problema.

Conferir não é falta de confiança na ferramenta. É a condição para poder usá-la em algo que você vai assinar.