Alucinação de IA: como conferir antes de confiar

Dois números medem alucinação de IA, e eles não parecem falar da mesma tecnologia.

No ranking público da Vectara, que mede resumo de um texto entregue ao modelo, os modelos de ponta erram em cerca de 1% a 2,5% dos casos. No estudo do RegLab de Stanford, que fez perguntas verificáveis sobre casos judiciais federais, os mesmos tipos de modelo erraram entre 58% e 88%.

Não é contradição nem erro de um dos estudos. A diferença entre 1% e 88% é uma só: se a resposta tinha uma fonte à vista ou se o modelo teve que lembrar.

Essa é a informação mais útil que existe sobre o assunto, e quase nenhum texto em português a apresenta. Ela transforma alucinação de IA de um risco difuso ("às vezes ela inventa") em algo com endereço. Com endereço, dá para conferir com método, em vez de reler tudo com desconfiança genérica.

Alucinação de IA não é aleatória. Ela se concentra onde o modelo teve que recuperar da memória em vez de ler, ou seja, nos nomes próprios da resposta. Conferir bem é saber onde olhar, não olhar mais.

Por que "alucinação" é uma palavra ruim

O termo pegou, então vamos usá-lo, mas ele atrapalha o entendimento.

"Alucinação" sugere um defeito: o sistema estaria funcionando mal, num momento de surto, e voltaria ao normal depois. É o contrário. Um modelo de linguagem produz a continuação mais plausível do texto, e é exatamente isso que ele faz quando inventa uma jurisprudência com número, vara e data. A resposta inventada e a resposta correta saem do mesmo mecanismo, no mesmo estado de funcionamento.

Daí decorre a consequência que mais gente subestima: não existe sinal. Não há hesitação, aviso nem mudança de tom. Se você está esperando que a ferramenta avise quando não sabe, você está esperando algo que a arquitetura não tem. A base disso está em o que é IA generativa.

Por isso a conferência contra alucinação de IA não pode ser reativa, do tipo "vou checar quando parecer estranho". Nada parece estranho. Ela precisa ser um passo fixo do processo, que é o quarto movimento do método em como usar IA no trabalho.

Os dois números, com a fonte colada

A terceira linha é a que eu acho mais honesta de citar, e a que mais gente ignora quando vende solução: ferramenta jurídica dedicada, com base de dados própria e busca acoplada, ainda erra em 17% a 33% das respostas.

Ou seja: dar fonte ao modelo derrubou o erro de 43% para 17%. Uma melhora enorme, que não chega a zero. Quem vende "acabou a alucinação porque agora tem busca nos seus documentos" está exagerando um ganho real.

Números com data curta. O ranking da Vectara muda a cada release de modelo, e os estudos de Stanford são de 2024 e do ano seguinte, com os modelos daquele momento. A ordem de grandeza é o que importa aqui: a distância entre 1% e 88% não se fecha com uma versão nova.

Onde a alucinação de IA mora

Se a taxa muda conforme a tarefa, ela também muda dentro de uma mesma resposta. E é aí que a conferência fica barata.

Texto genérico (explicação de conceito, estrutura de argumento, resumo do que você mesmo escreveu) raramente é inventado. O que é inventado, com frequência desproporcional, são os nomes próprios da resposta:

• número (percentual, valor, quantidade, ano);
• citação atribuída a alguém;
• nome de autor, obra, estudo ou empresa;
• número de lei, artigo, processo, norma;
• link.

Todos são o que o modelo precisou recuperar, não deduzir. E todos são conferíveis em segundos: você cola numa busca e vê se existe.

Um sinal de alerta específico, que vale treinar: exatidão excessiva para uma pergunta ampla. Se você perguntou algo genérico e recebeu "de acordo com o estudo de 2023 da consultoria X, 37,4% das empresas...", desconfie do número inteiro antes de desconfiar da tese. O número é a parte que teve que ser lembrada.

O caso que custou dinheiro

Em outubro de 2025, a Deloitte Austrália concordou em devolver parte de um contrato de A$ 440 mil com o Departamento de Emprego e Relações de Trabalho. O relatório, de 237 páginas, foi entregue com cerca de 20 referências fabricadas, incluindo uma citação atribuída a um juiz federal que ele nunca escreveu e um livro inexistente atribuído a uma professora real de direito. A versão revisada passou a declarar o uso de IA na redação, e a empresa devolveu a parcela final do contrato.

O detalhe que faz esse caso valer a leitura é outro: as conclusões do relatório se mantiveram. A análise estava boa. O que era falso eram as referências, a camada de credibilidade, não a de raciocínio.

A alucinação de IA raramente estraga o argumento; ela estraga a prova do argumento. Por isso ela sobrevive à revisão de quem lê procurando erro de conteúdo: o conteúdo está certo.

No Brasil, já virou multa

Aqui o assunto deixa de ser importado, e é a parte que quase nenhum conteúdo em português cobre.

Os tribunais brasileiros já vêm punindo peças processuais com citações inventadas por IA:

• A 2ª Vara Federal de Londrina (PR) multou um advogado em 20 salários mínimos por manifestações com artigos de lei inexistentes e jurisprudência inverídica, incluindo menção a uma "lei processual do tempo", que não existe.
• A 6ª Turma do TST aplicou multa de 1% sobre o valor da causa a uma empresa de telecomunicações e ao seu advogado, por jurisprudência inexistente em contrarrazões.
• TJSC e TJPR aplicaram multa por litigância de má-fé em casos equivalentes, um deles com a expressão que resume tudo: uso de IA "sem zelo e cautela".

O fundamento das decisões é o que interessa fora do direito: a responsabilidade de conferir é de quem assina, e não é transferível para a ferramenta. Em Londrina, o juiz registrou que o advogado não pode atribuir erro grave a estagiário ou a tecnologia.

Troque "advogado" por "consultor", "analista" ou "agência" e a frase continua valendo. O que muda é só quem cobra a conta. Vale ler junto com regulamentação de IA no Brasil e com ética em IA.

Quem assina é você, inclusive quando o cliente falou com o robô

O caso mais didático sobre responsabilidade não é sobre relatório: é sobre atendimento.

Em fevereiro de 2024, um tribunal civil da Colúmbia Britânica decidiu Moffatt v. Air Canada. O chatbot do site da companhia informou a um passageiro que ele poderia pedir tarifa de luto depois do voo, o que a política real não permite. A Air Canada argumentou que o chatbot era "uma entidade legal separada" e que não respondia por ele.

O tribunal rejeitou de forma memorável: o chatbot é parte do site da companhia, e a empresa responde por toda informação que publica, venha de uma página estática ou de um robô. Indenização de CAN$ 812,02, valor irrelevante e precedente enorme.

Se você usa IA no atendimento, isso vale como aviso direto: a resposta errada é sua. O mesmo raciocínio aparece em o que são agentes de IA, onde o sistema não só responde como age.

O que reduz de verdade

Duas famílias de solução, e vale saber o que cada uma entrega:

Dar a fonte antes. É fazer o modelo ler em vez de lembrar, que é exatamente o salto entre os dois números do começo. Significa conectar a IA aos seus dados: colar o documento, apontar para uma base, ou montar a ligação de forma estruturada, como está em como conectar IA aos dados da empresa. Reduz muito, mas não zera: os 17% da ferramenta jurídica estão aí para lembrar.

Conferir depois. É o checklist do diagrama, e continua obrigatório mesmo com a fonte conectada: conectar reduz a alucinação de IA, não dispensa a revisão.

O que não funciona, e é o erro mais comum, é perguntar à IA se ela tem certeza. Isso gera outra resposta plausível sobre a primeira. O modelo não volta à fonte, não recalcula e não tem verdade externa para comparar; em muitos casos ele confirma o próprio erro com a mesma convicção. Pedir confirmação ao mesmo sistema é pedir a mesma opinião duas vezes.

E vale dizer o que também não resolve: escrever um prompt melhor. Engenharia de prompts melhora a qualidade da resposta e reduz ambiguidade, mas não dá ao modelo um acesso à verdade que ele não tem. Prompt bom com fonte ausente continua sendo memória.

O ponto que fica

A pergunta "tem muita alucinação de IA?" não tem resposta útil, porque a taxa vai de 1% a 88% dependendo do que você pediu.

A pergunta útil é outra: "essa resposta veio de uma fonte que estava na frente dela, ou da memória dela?". E, na sequência, "os nomes próprios daqui existem?".

Não é preciso desconfiar de tudo, só do que é específico, verificável e conveniente demais, que é justamente o que dá para checar em dois minutos. O resto do texto, aquele que parece genérico, quase nunca é o problema.

Conferir é a condição para usar a ferramenta em algo que você vai assinar.