Como ler um benchmark de IA sem comprar o do fabricante

Todo lançamento de modelo vem com o mesmo pacote: um gráfico de barras, três ou quatro siglas de benchmark de IA e uma barra sua mais alta que a do concorrente. A peça circula, vira post, vira argumento em reunião e às vezes vira linha de proposta comercial.

Quase nenhuma dessas etapas verifica quem produziu o número. E o problema raramente é fraude. É que o mesmo dado, honesto na origem, muda completamente de sentido quando sai do contexto em que foi medido.

Um benchmark de IA responde uma pergunta estreita, feita por alguém com interesse no resultado, sobre uma versão específica do modelo. Cada uma dessas três partes precisa ser conferida antes de o número virar decisão.

Pergunta 1: quem produziu esse número?

A maior parte dos gráficos de lançamento é autoavaliação. O fabricante define o recorte, roda o teste no próprio modelo, roda no concorrente e publica o resultado. Isso não invalida o dado, mas muda o que ele é: passa a ser afirmação de parte interessada.

O caso fica mais desconfortável quando o benchmark em si tem vínculo com as empresas avaliadas. O SWE-bench lista OpenAI e Anthropic entre os apoiadores do projeto, e o subconjunto SWE-bench Verified foi construído em colaboração com a OpenAI. Nada disso é escondido, está no site. Mas raramente aparece ao lado da barra do gráfico.

A regra prática é simples e vale para qualquer setor: número produzido por quem vende entra no texto com o nome do autor colado. "O modelo X atinge 72%" e "segundo a fabricante do modelo X, ele atinge 72%" são frases com peso diferente, e a segunda é a única defensável.

Pergunta 2: o que exatamente foi medido?

Aqui mora o erro mais comum de 2026, e ele tem um endereço: rankings de plataforma sendo lidos como rankings de qualidade.

O ranking do OpenRouter ordena os modelos pela quantidade de tokens processados pela API, somando prompt e resposta. A própria página não deixa margem para dúvida: esses rankings medem adoção, e não acurácia, capacidade de raciocínio ou desempenho em benchmark. A documentação ainda registra que totais maiores de tokens não indicam preferência do usuário, porque modelos variam em verbosidade e em tokenização, e que o número cobre apenas o tráfego roteado por aquela plataforma.

Ou seja: um modelo que escreve respostas mais longas consome mais tokens para fazer o mesmo trabalho, e sobe no ranking por isso.

Os benchmarks de capacidade medem outra coisa, cada um com um recorte bem estreito:

O GPQA tem uma referência que ajuda a calibrar o que esses números significam: os autores registram que doutores da própria área acertam 65% das questões, e que não especialistas altamente qualificados chegam a 34% mesmo com mais de 30 minutos de acesso livre à web. Um modelo pontuando alto ali diz algo sobre conhecimento técnico denso, e nada sobre a conversa com o seu cliente.

Pergunta 3: é a mesma versão do modelo?

Essa pergunta derruba boa parte dos posts de "roda no meu notebook".

Modelo grande costuma ser publicado em mais de uma forma: a versão completa, que produziu os números do gráfico, e versões quantizadas, comprimidas para caber em hardware comum. São modelos diferentes em comportamento, e a queda de qualidade não é anunciada junto com o benchmark.

Vale a mesma atenção para nome de versão. Boa parte dos carrosséis que circulam no Instagram cita nomes de modelo que não correspondem a produto lançado, e isso se propaga como fato. Antes de repetir, confira na página oficial do fabricante se aquela versão existe com aquele nome.

Pergunta 4: em que condição o dado foi coletado?

Condição de coleta explica quase toda curva de adoção que parece inexplicável.

Modelo lançado de graça, sem exigir cadastro e por tempo limitado, concentra tráfego por três razões que não têm a ver com qualidade: preço zero, curiosidade pelo lançamento e gente testando exatamente para comparar. Quando a gratuidade acaba, a curva desaba, e o ranking passa a medir outra população.

O mesmo raciocínio vale para benchmark com poucas execuções. O Terminal-Bench tem um detalhe metodológico que quase nenhum anúncio de fabricante traz: a versão 4.0 reporta intervalo de confiança de 95%. Sem intervalo, duas pontuações separadas por um ponto percentual podem ser estatisticamente indistinguíveis, e o gráfico de barras nunca mostra isso.

Contaminação de benchmark de IA: o modelo lembra ou resolve?

Existe uma crítica estrutural, publicada e revisada, que atinge o conjunto todo: contaminação de dados. Se o conteúdo do teste já estava no material de treino, o modelo acerta por memória.

A revisão sistemática Are LLM Benchmarks Already Contaminated?, apresentada no workshop GEM em julho de 2026 e premiada como Outstanding Paper, analisou 55 artigos sobre detecção de contaminação. Duas conclusões importam para quem lê gráfico: a inflação estimada de desempenho varia de cerca de 6% a 40%, conforme o benchmark e as premissas adotadas, e nenhum método isolado de detecção se mostrou consistentemente confiável.

No benchmark mais citado por fabricante, o efeito foi medido diretamente. O estudo The SWE-Bench Illusion mostrou que modelos identificam o arquivo com o bug em até 76% dos casos no SWE-bench Verified usando apenas a descrição da issue, sem ver o código, e caem para no máximo 53% em repositórios fora do benchmark. Em reprodução literal de trechos de função, a diferença é de até 35% contra até 18%. A leitura dos autores é que parte do ganho reportado vem de memorização.

Isso não significa que os modelos não melhoraram. Significa que a distância entre duas barras num gráfico pode ser menor do que parece, e que a queda ao sair do benchmark é real.

Como fica na prática, no seu trabalho

Para quem precisa escolher um modelo, o roteiro é curto e não depende de gráfico nenhum:

1. Separe três tarefas reais da semana passada. Com a entrada original e a saída que você já sabe que era boa. Tarefa inventada para o teste não vale, porque ela costuma ser mais limpa que a realidade.
2. Defina o critério antes de rodar. O que conta como resposta aceitável naquela tarefa. Sem isso, você vai escolher o modelo que escreve mais bonito.
3. Rode as duas opções nas três tarefas. Mesma instrução, mesmo contexto.
4. Conte o retrabalho, não a impressão. Quantas vezes você teve que corrigir, refazer ou conferir. É esse número que aparece na conta no fim do mês.
5. Repita quando trocar de versão. Comportamento muda entre versões, inclusive para pior em tarefas específicas.

Esse teste leva algumas horas e responde o que o benchmark não responde: como o modelo se comporta com os seus dados, no seu formato e sob o seu critério de qualidade. É a mesma lógica que já vale para alucinação de IA, onde quem assina o resultado é quem usa, e não a ferramenta.

Se o número vai para uma proposta comercial

Três regras que evitam constrangimento na reunião seguinte:

• Autoria colada no número. Quem mediu, quando, e em que versão.
• Nada de barra sem escala. Gráfico de fabricante costuma cortar o eixo para ampliar a diferença visual.
• Benchmark é indício, não entrega. O que você promete ao cliente é o resultado no ambiente dele, e isso se demonstra com piloto, não com slide.

Quem trabalha com proposta de tecnologia sabe que número sem procedência é exatamente o tipo de coisa que volta depois, na forma de expectativa não atendida.

O ponto que fica

Benchmark de IA não é mentira. É medida estreita, produzida por parte interessada, sobre uma versão específica, em condição controlada. Todas essas qualificações desaparecem quando o gráfico vira imagem de post.

Recuperar as quatro perguntas diante de um benchmark de IA leva dois minutos e evita a maior parte dos erros. E quando a decisão for grande de verdade, ela não sai de um gráfico: sai de rodar as suas próprias tarefas nos dois modelos e contar quanto retrabalho cada um deu.