teste A/B como fazer

Teste A/B é comparar duas versões de uma mesma página, e-mail ou anúncio — a versão A, que é o controle, e a versão B, a variante — mudando um único elemento por vez para descobrir, com significância estatística, qual delas converte melhor. A ideia é simples, mas o rigor não: sem um método que separe padrão real de coincidência, você troca uma opinião ("acho que vermelho converte mais") por outra opinião disfarçada de dado.

O valor do teste A/B está em substituir o achismo pelo método científico aplicado ao marketing. Em vez de redesenhar a página inteira no escuro, você isola uma variável, deixa o público real decidir e só muda o que os números provam que funciona. Os passos são sempre os mesmos:

O que é um teste A/B

Um teste A/B é um experimento controlado. Você cria duas versões de um mesmo ativo — uma landing page, um e-mail ou um anúncio — mantendo tudo igual, exceto um único elemento. A versão A é o controle (o que já existe); a versão B é a variante (a mudança que você quer avaliar). O tráfego é dividido aleatoriamente entre as duas, e cada visitante vê apenas uma delas.

A regra de ouro é isolar uma variável por vez. Se você troca o título e a cor do botão e a imagem ao mesmo tempo e a versão B vence, não há como saber qual das três mudanças foi responsável. Testar um elemento de cada vez é o que transforma o resultado em aprendizado replicável.

O objetivo final é sempre uma métrica de conversão dentro do seu funil de vendas — cliques na chamada para ação, cadastros, compras. E, para que a comparação tenha valor, a diferença observada precisa passar no teste da significância estatística.

Significância estatística: o conceito que separa dado de opinião

Este é o ponto onde a maioria dos testes caseiros erra. Significância estatística é a garantia de que a diferença entre A e B não é fruto do acaso. Em qualquer amostra pequena os números oscilam: jogue uma moeda 10 vezes e é comum sair 7 caras: isso não prova que a moeda é viciada.

A ferramenta para medir isso é o p-value. Ele responde a uma pergunta específica: se A e B fossem, na verdade, exatamente iguais, qual a probabilidade de eu ver uma diferença tão grande quanto a que medi, só por sorte? Quando o p-value fica abaixo de 0,05, essa probabilidade é menor que 5% — a diferença é considerada estatisticamente significante.

Isso corresponde ao nível de confiança de 95%, o padrão do mercado. Cuidado com a interpretação: 95% de confiança não significa "há 95% de chance de a versão B ser melhor". Significa que, se as duas fossem iguais, um resultado como o seu apareceria por puro acaso em no máximo 5% das vezes.

E não existe um percentual mágico de diferença. Circula por aí a ideia de que a versão B só vale se converter "25% a mais" que a A — isso está errado. Uma vantagem de 3% pode ser perfeitamente significante com uma amostra grande, enquanto uma diferença de 50% pode ser só ruído se a amostra for minúscula. O que decide é sempre o tamanho da amostra combinado ao tamanho do efeito.

Quanto tráfego você precisa

Antes de começar, responda: quantos visitantes preciso para detectar uma mudança que importe? Um bom calculador de amostra faz essa conta a partir de três dados — a taxa de conversão atual, o tamanho da melhoria que você quer ser capaz de detectar e o nível de confiança desejado.

Uma referência gratuita e confiável é o A/B Test Sample Size Calculator, de Evan Miller. Com uma taxa base de 5% e o desejo de detectar uma melhora relativa de 30% (de 5% para 6,5%) a 95% de confiança, ele aponta a necessidade de milhares de visitantes por variante.

A consequência prática é direta: sites com muito tráfego conseguem rodar testes semanais, enquanto páginas com poucas centenas de visitas por mês podem levar meses para concluir um único teste. Se o seu tráfego é baixo, há duas saídas: aceitar uma confiança menor e tratar o resultado como exploratório, ou testar apenas mudanças grandes o bastante para exigir menos amostra.

Como montar um teste A/B passo a passo

1. Formule uma hipótese clara. "Testar a cor do botão" não é hipótese. Uma boa hipótese diz o que muda, por quê e qual resultado espera: "Um botão com o texto 'Quero meu diagnóstico' deve gerar mais cliques que 'Enviar', porque descreve o benefício em vez da ação."

2. Defina a métrica de sucesso e uma única variável. Escolha uma métrica objetiva (taxa de clique, taxa de cadastro, taxa de compra) e mude apenas um elemento entre A e B. Uma boa fonte de hipóteses são os mapas de calor de ferramentas como Hotjar e Microsoft Clarity, que mostram onde as pessoas realmente clicam e onde abandonam.

3. Divida o tráfego aleatoriamente. Metade dos visitantes vê A, metade vê B. A aleatoriedade é o que garante que os dois grupos sejam comparáveis; sem ela, o resultado fica enviesado.

4. Colete amostra até atingir a significância. Deixe o teste rodar até o tamanho de amostra planejado, cobrindo pelo menos um ou dois ciclos completos de comportamento (uma a duas semanas costuma ser o mínimo, para não misturar dias úteis com fins de semana).

5. Analise e decida. Se a diferença for estatisticamente significante, você tem um vencedor. Se não for, o aprendizado também é válido: aquele elemento não move o ponteiro.

6. Implemente e itere. Aplique a versão vencedora para 100% do tráfego e comece o próximo teste. Otimização de conversão é um ciclo contínuo, não um evento único.

O que vale a pena testar

Priorize os elementos de maior impacto na decisão, e não os detalhes cosméticos:

Comece pelo título, que costuma ter o maior efeito e é trivial de trocar. Em seguida, avalie o número de campos do formulário (menos campos costuma reduzir atrito) e só depois vá para os ajustes finos de texto e cor do botão.

Exemplo ilustrativo: teste de título

Imagine uma landing page cujo título atual é "Guia completo de Mautic". A hipótese: títulos mais específicos e orientados a resultado convertem melhor. As variantes:

• A (controle): "Guia completo de Mautic"
• B (variante): "Automação de e-mail com Mautic, do zero ao primeiro fluxo"

Com o tráfego dividido igualmente, um resultado hipotético poderia ser assim:

À primeira vista, B parece vencer. Mas repare no ponto central deste artigo: só um calculador de amostra dirá se essa diferença é significante ou se ainda está dentro da margem do acaso. Se a amostra for pequena demais, a decisão correta é continuar coletando dados — e não trocar o título com base num pico animador.

Ferramentas de teste A/B

O ecossistema mudou nos últimos anos, então vale separar o que ainda existe do que morreu:

Um aviso importante: o Google Optimize foi descontinuado pelo Google em setembro de 2023. Muitos tutoriais antigos ainda o recomendam como a opção gratuita padrão — ignore-os. Para testes em página, as alternativas ativas são plataformas como VWO, Optimizely e AB Tasty. Para testes de e-mail, o próprio Mautic e outras ferramentas de automação já trazem teste A/B nativo de assunto e conteúdo; plataformas de anúncios oferecem o mesmo para criativos.

Erros comuns que invalidam um teste

A mais perigosa é a primeira. É tentador olhar o painel no terceiro dia, ver a versão B 15% na frente e ativá-la. Nos primeiros dias, porém, quase toda amostra pequena mostra uma "vencedora" que depois se dissolve. Definir o ponto de parada antes de começar é o que protege o teste de você mesmo.

Perguntas frequentes sobre teste A/B

O que é um teste A/B?

É um experimento controlado que compara duas versões de uma mesma página, e-mail ou anúncio: a versão A (controle) e a versão B (variante), que difere da A em um único elemento. Você mostra cada versão para metade do público, de forma aleatória, e mede qual delas gera mais conversões. A comparação só vale quando a diferença é estatisticamente significante, ou seja, improvável de ter surgido por acaso.

O que é significância estatística em um teste A/B?

É a garantia de que a diferença medida entre A e B não é fruto do acaso. O padrão do mercado é 95% de confiança, o que corresponde a um p-value abaixo de 0,05. Não existe um percentual mágico de diferença: uma vantagem de 3% pode ser significante com uma amostra grande, e uma de 50% pode ser puro ruído com uma amostra minúscula. O que decide é o tamanho da amostra combinado ao tamanho do efeito.

Por que não devo parar o teste assim que a versão B aparecer na frente?

Porque parar cedo, o chamado peeking, infla os falsos positivos. Nos primeiros dias os números oscilam muito, e quase sempre uma versão dispara na frente por acaso. Se você encerra nesse pico, conclui uma vitória que não existe. A regra é definir o tamanho da amostra ou a duração antes de começar e só decidir quando esse alvo for atingido.

Quais ferramentas usar para fazer testes A/B?

Para medir os resultados, o Google Analytics 4 é o ponto de partida gratuito. O Google Optimize, que era a opção nativa e gratuita, foi descontinuado pelo Google em setembro de 2023 e não deve mais ser usado. Entre as alternativas ativas estão VWO, Optimizely e AB Tasty, além dos recursos de teste A/B já embutidos em muitas plataformas de e-mail marketing e de anúncios.

Teste A/B funciona com pouco tráfego?

Funciona, mas com ressalvas. Quanto menor o tráfego, mais tempo o teste leva para acumular amostra suficiente e menor tende a ser a confiança no resultado. Sites com poucas centenas de visitas por mês podem precisar de meses para um único teste, e o resultado deve ser tratado como exploratório. Nesses casos, vale priorizar mudanças de maior impacto e usar um calculador de amostra antes de começar.

Conclusão

Teste A/B não é sobre adivinhar a cor certa do botão: é sobre trocar a intuição por evidência. O método é sempre o mesmo — uma hipótese clara, uma única variável, tráfego dividido aleatoriamente e amostra suficiente para atingir significância estatística sem parar no meio do caminho.

O maior erro não é escolher a ferramenta errada, e sim tirar conclusões de amostras pequenas e encerrar testes cedo demais. Se você respeitar o tamanho da amostra e a paciência que a estatística exige, cada teste vira um aprendizado real sobre o seu público — e a soma desses aprendizados, ao longo do tempo, é o que separa páginas que convertem das que apenas parecem bonitas. Para aprofundar, explore mais conteúdos na seção de Marketing Digital do atraca.com.br.