O que influencia o tamanho da amostra em um teste A/B?
O tamanho da amostra para um teste A/B depende principalmente de quatro fatores: seu nível de confiança, seu poder estatístico alvo, sua taxa de conversão inicial e o efeito mínimo detectável que você considera importante.
Aumentos esperados menores exigem mais tráfego, enquanto aumentos esperados maiores exigem menos. Taxas de conversão iniciais mais baixas também tendem a aumentar a amostra necessária.
Por que isso é importante?
Realizar um experimento com poucos dados facilita a perda de diferenças reais ou a reação exagerada a ruídos aleatórios. Planejar o tamanho da amostra com antecedência reduz a tentação de interromper o experimento precocemente com base em resultados instáveis.
Esta página fornece uma meta prática para cada variante, para que você possa avaliar se um teste é realista antes do lançamento.
- Estime as necessidades de tráfego antes do lançamento.
- Defina durações de teste realistas.
- Evite experimentos com poder estatístico insuficiente.
- Alinhe as equipes sobre o que conta como uma melhoria significativa.
Como usar o resultado
O resultado por variante indica aproximadamente quantas observações cada variante deve receber. O tamanho total da amostra é o tráfego combinado de ambas as variantes.
Se o resultado parecer muito grande para o tráfego disponível, o próximo passo usual é reconsiderar o efeito mínimo detectável, e não executar o mesmo teste com menos dados.
Como transformar o resultado em um plano de testes
Após definir uma meta de amostra por variante, compare-a com o tráfego semanal para estimar a duração necessária do experimento. Isso ajuda a determinar se o teste é viável antes de iniciar o trabalho de projeto e engenharia.
O tamanho da amostra é apenas um dos aspectos da qualidade de um experimento. Um rastreamento preciso, uma linha de base estável e uma regra de parada clara ainda são importantes, pois uma amostra grande não pode compensar um teste mal executado.
- Estime a duração com base no tráfego por variante, não no tráfego total do site.
- Escolha o efeito mínimo detectável antes do lançamento.
- Mantenha a alocação e o rastreamento estáveis durante a execução.
- Evite interromper o estudo precocemente quando os resultados parecerem promissores apenas temporariamente.