Como calcular o tamanho da amostra para um teste A/B
O planejamento do tamanho da amostra para testes A/B consiste principalmente em decidir qual a magnitude da mudança que vale a pena detectar e qual o grau de certeza desejado em relação aos resultados do teste. Esta página explica a lógica prática por trás desse cálculo.
Comece pelo efeito que importa.
O planejamento de testes A/B começa com o efeito mínimo detectável, não com o tamanho da amostra em si. Primeiro, você decide qual mudança seria realmente significativa o suficiente para influenciar uma decisão de produto, crescimento ou design.
Efeitos mínimos exigem amostras muito maiores para serem detectados.
Aumente a confiança e o poder
O nível de confiança controla o quão rigoroso você deseja ser em relação à variação aleatória. O poder estatístico controla a probabilidade de detectar um efeito real, caso ele exista. Juntos, eles definem a sensibilidade do teste.
Padrões mais elevados em qualquer uma das medidas geralmente aumentam o tráfego necessário.
Utilize uma base de referência realista.
A taxa de conversão inicial serve de base para o cálculo. Uma página que já converte a 2% comporta-se de forma diferente de uma página que converte a 20%, mesmo quando o aumento desejado parece semelhante em termos absolutos.
É por isso que o planejamento do tamanho da amostra para testes A/B funciona melhor quando utiliza dados de referência recentes em vez de estimativas aproximadas.
Uma sequência de planejamento prática
Uma ordem útil é definir primeiro o limiar de decisão, estimar uma linha de base realista, escolher o efeito mínimo detectável e só então analisar o tamanho da amostra. Isso mantém o experimento ancorado na relevância para o negócio, em vez de começar apenas com o tráfego.
Isso também ajuda as equipes a evitar a criação de testes que sejam tecnicamente válidos, mas operacionalmente inviáveis. Se o tempo de execução for muito longo, as suposições iniciais geralmente precisam ser revisadas antes do lançamento.
- Escolha uma magnitude de efeito que realmente altere uma decisão.
- Utilize dados de referência recentes da mesma etapa do funil.
- Verifique o tempo de execução antes de iniciar o experimento.
- Revise o plano em vez de lançar um teste obviamente com poder estatístico insuficiente.