Teste A/B: como fazer e ler os resultados do jeito certo

Em junho de 2026, a ConversionTeam publicou a auditoria de 2.288 testes A/B de 71 clientes. Olhando só para quem terminou na frente, 50,5% das versões novas “ganharam”. Aplicando significância estatística aos mesmos testes, sobraram 19,1%.

Essa distância é o assunto deste texto. Saber como fazer teste A/B é a parte fácil: as ferramentas dividem o tráfego sozinhas. O difícil é não comemorar uma diferença que era só ruído, e depois gastar um trimestre inteiro implementando o nada.

Para fazer um teste A/B, escreva uma hipótese, escolha uma métrica principal, calcule a amostra necessária antes de começar, divida o tráfego aleatoriamente entre duas versões e espere até o fim do prazo definido. Só então compare: a versão vence quando o intervalo de confiança da diferença fica inteiro acima de zero.

O que é um teste A/B, e o que ele não é

Um teste A/B compara duas versões de uma mesma coisa (página, anúncio, assunto de e-mail, preço) mostrando cada uma a um grupo sorteado de pessoas, ao mesmo tempo. O sorteio é o que dá valor ao método: como os grupos são parecidos em tudo, a diferença de resultado tende a vir da mudança que você fez.

Por isso, trocar a página na segunda-feira e comparar com a semana anterior não é teste A/B. É um antes e depois, contaminado por feriado, campanha, clima e pagamento de salário. Serve como pista, não como prova.

Como fazer teste A/B em 6 passos

1. Escreva a hipótese antes de abrir a ferramenta

Formato simples: “se mostrarmos o frete já na página do produto, a conversão sobe, porque o susto no checkout é o que derruba a compra”. Sem o “porque”, você aprende só qual versão ganhou, e não o motivo. O motivo é o que se aplica no próximo teste.

2. Escolha uma métrica principal

Uma só, decidida antes. Se você acompanha 12 métricas, alguma vai subir por acaso, e o relatório vai contar essa como vitória. As outras entram como métricas de proteção: a conversão pode subir, mas ticket médio e devolução não podem cair. Se a dúvida é qual denominador usar, comece pelo guia de taxa de conversão.

3. Calcule a amostra antes de começar

É o passo que quase todo mundo pula. Você precisa de três números: a conversão atual, o menor ganho que justificaria a mudança (o efeito mínimo detectável) e o padrão estatístico, normalmente 95% de confiança e 80% de poder. A tabela abaixo mostra as sessões necessárias por versão, calculadas com esse padrão.

Conversão atual	Ganho de 10%	Ganho de 20%	Ganho de 30%	Ganho de 50%
1%	163.100	42.700	19.800	7.800
2%	80.700	21.100	9.800	3.800
3%	53.200	13.900	6.500	2.500
5%	31.200	8.200	3.800	1.500

Repare no custo de querer precisão: detectar um ganho de 10% pede quase quatro vezes mais amostra do que detectar um de 20%. Na prática, botão de outra cor raramente move o suficiente para aparecer. Teste mudanças grandes: oferta, garantia, ordem da página, proposta de valor.

4. Sorteie por pessoa e rode as duas versões juntas

Quem viu a versão B precisa continuar vendo a B na volta. Com os dois lados no ar ao mesmo tempo, campanha e sazonalidade atingem os dois grupos por igual.

5. Rode semanas completas

Mesmo com amostra batida, feche ciclos de 7 dias, porque quem compra no sábado não se comporta como quem compra na terça. Evite cortar o teste no meio de uma data como a Black Friday: o público dessa semana é outro, e o vencedor pode não valer em dezembro.

6. Só leia no final

Olhar o painel não faz mal. O problema é decidir com base nele. A próxima seção mostra por quê.

Por que parar o teste quando “deu significância” gera falso vencedor

Os 95% de confiança valem para uma leitura, feita no tamanho de amostra combinado. Cada olhada extra com poder de decisão é mais uma chance de o acaso cruzar a linha.

Fizemos uma simulação para medir isso: 20 mil testes em que A e B eram idênticos, com 3% de conversão, 500 sessões por dia em cada versão e 14 dias de duração. Lendo só no fim, 4,9% acusaram um vencedor falso, perto dos 5% esperados. Decidindo no primeiro dia em que o painel marcasse significância, foram 21,7%.

Existem métodos feitos para leitura contínua, como testes sequenciais, e algumas ferramentas já usam. Se a sua usa, ótimo: confira na documentação. Se não sabe, assuma que não usa e espere o prazo.

Exemplo: como ler os resultados de um teste A/B

Uma loja de cosméticos tem 2.000 sessões por dia, 3% de conversão e ticket de R$ 180. A hipótese é mostrar o frete na página de produto, e a meta é detectar ganho de 20%. Pela tabela, são 13.900 sessões por versão, ou 14 dias. O time arredonda para 14.000 de cada lado.

No quinto dia, com 5.000 sessões por versão, B tinha 3,72% contra 3,00% de A: 24% de ganho e p-valor de 0,046. A tentação de encerrar era grande. O time esperou. No fim:

• Versão A: 420 pedidos em 14.000 sessões, 3,00%.
• Versão B: 492 pedidos em 14.000 sessões, 3,51%.
• Diferença: +0,51 ponto percentual, ou 17% de ganho.
• P-valor: 0,015.
• Intervalo de confiança de 95%: de +0,10 a +0,93 ponto.

B venceu, e o ganho encolheu de 24% para 17%. É o padrão: resultado que aparece cedo costuma vir inflado. Por isso, a pergunta boa é “qual o tamanho provável do ganho?”, e quem responde é o intervalo, não o p-valor.

Em 60 mil sessões por mês, esse intervalo significa entre R$ 10,8 mil e R$ 100 mil a mais de faturamento mensal, com centro perto de R$ 55 mil. É uma faixa larga. Se implementar custasse R$ 30 mil por mês em frete subsidiado, a decisão não estaria resolvida, mesmo com significância. Faça a conta sobre margem, não sobre faturamento.

O que é significância estatística, sem o jargão

O p-valor responde a uma pergunta bem específica: se não existisse diferença nenhuma, com que frequência veríamos um resultado tão extremo só por acaso? No exemplo, 0,015 significa 1,5% das vezes.

Ele não diz que há 98,5% de chance de B ser melhor, embora muito painel escreva quase isso. Também não diz nada sobre o tamanho do ganho: com amostra enorme, uma melhora irrelevante vira “significativa”. Significância responde se dá para confiar no sinal; quem decide se vale a pena é a conta de negócio.

E o resultado inconclusivo não é fracasso. Ele informa que a mudança, se tem efeito, está abaixo do que o teste consegue enxergar. Nesse caso, fique com a opção mais simples de manter. Resista a “rodar mais uma semana” sem plano: isso é a mesma espiada disfarçada, um dos vieses que distorcem decisões.

Três checagens antes de confiar no resultado

1. A divisão saiu como combinado? Em 28.000 sessões divididas meio a meio, o normal é variar uns 160 para cada lado. Se veio 14.420 contra 13.580, a chance de ser acaso é menor que 1 em 1 milhão. Tem algo quebrado, provavelmente redirecionamento ou rastreamento, e o teste deve ser descartado.
2. O ganho aparece em todos os segmentos importantes? Uma vitória que existe só no desktop pode esconder perda no celular, onde está a maior parte do seu tráfego. Use os recortes para investigar, não para garimpar vencedor depois do fato.
3. A conversão foi contada igual nos dois lados? Evento duplicado em uma versão só fabrica vitória. Confira os pedidos no sistema de vendas, e não só no painel da ferramenta.

E quando não há tráfego para testar?

É mais comum do que parece. Na análise que a Convertcart fez de 1.103 experimentos entre junho de 2025 e junho de 2026, cerca de 1 em cada 6 lojas auditadas não tinha tráfego suficiente para um teste válido.

Pense numa empresa B2B com 6.000 sessões por mês e 2% de conversão em lead. Detectar ganho de 20% exige 42.200 sessões: sete meses. Sobram três saídas honestas:

• Testar mudanças maiores. Mirando ganho de 50%, o teste cai para 7.600 sessões, pouco mais de cinco semanas.
• Medir um passo acima no funil. O clique no botão de orçamento, com 10% de taxa, pede 7.600 sessões para ganho de 20%. O risco é otimizar clique que não vira venda, então acompanhe a etapa seguinte.
• Não testar. Use entrevista, gravação de sessão e análise do funil, e assuma a mudança como decisão de negócio. Melhor isso do que um teste fraco com carimbo de ciência.

Em mídia paga, a lógica é a mesma, e a unidade que pesa é a conversão, não a impressão. Um CTR ótimo com 40 conversões por lado prova pouco sobre custo por venda. Veja como organizar essa leitura na análise de campanhas de Meta Ads.

Qual taxa de vitória esperar?

Bem menos do que os estudos de caso sugerem. A auditoria da ConversionTeam (2026) dá os 19,1% com significância, usando teste unicaudal a 95%. A Convertcart (2026) reporta 37% de melhorias significativas. A diferença entre as duas mostra que definição e método pesam muito, e ambas são consultorias de otimização, com clientes que já têm programa de testes.

Se uma empresa começando ganha 2 de cada 10 testes, está normal. Se ganha 8 de 10, desconfie da régua antes de celebrar.

Perguntas frequentes

Quanto tempo deve durar um teste A/B?

O tempo que a amostra calculada exigir, arredondado para semanas completas. Duas semanas é um bom mínimo prático para cobrir a variação entre dias. Passar de quatro a seis semanas traz outro risco: cookies expiram e as pessoas passam a cair na outra versão.

Como funciona o teste A/B do Meta Ads?

O Gerenciador de Anúncios tem uma ferramenta própria que divide o público entre as versões, para que a mesma pessoa não veja as duas, e aponta um vencedor por custo do resultado. Mude uma variável por vez, como criativo ou público. Duplicar a campanha à mão não equivale a isso, porque os públicos se sobrepõem e o algoritmo distribui a verba de forma desigual.

Qual a diferença entre significância estatística e relevância prática?

Significância diz que a diferença provavelmente é real. Relevância diz se ela paga a mudança. Um ganho de 0,02 ponto pode ser significativo numa base gigante e não cobrir o custo de desenvolvimento.

Posso testar mais de duas versões ao mesmo tempo?

Pode, mas a amostra se divide e o erro cresce. Com três versões novas contra a original, a chance de pelo menos um falso vencedor sobe de 5% para cerca de 14%, se nada for corrigido. Para quem tem pouco tráfego, duas versões bem diferentes costumam ensinar mais.

Qual o nível de confiança ideal?

95% é o padrão para decisões difíceis de reverter. Em mudanças baratas e fáceis de desfazer, como o assunto de um e-mail, 90% é aceitável, sabendo que você aceita mais falsos vencedores em troca de velocidade.

Testar bem é decidir o critério antes de ver o resultado

A estatística de teste A/B cabe em uma tabela e uma calculadora. O que separa quem aprende de quem coleciona vitórias falsas é a disciplina de definir métrica, amostra e prazo antes, e aceitar quando o dado disser “ainda não sei”.

A parte chata costuma ser cruzar o resultado do teste com o que aconteceu depois, no CRM e na receita. No Sherlok, você pergunta isso em português e recebe a análise pronta com Meta Ads, Google Ads, GA4 e CRM na mesma conversa, para descobrir se a versão vencedora também trouxe cliente melhor.