Exemplos de tamanho de amostra para testes A/B
Os exemplos facilitam o planejamento de testes A/B porque mostram como as suposições alteram os requisitos de tráfego. Esta página se concentra na intuição em vez de provas formais.
Exemplo: linha de base modesta, elevação modesta
Imagine uma página com uma taxa de conversão inicial de 10% e uma meta de aumento de 2 pontos percentuais. Esse tipo de configuração geralmente produz uma amostra gerenciável, porém ainda significativa.
É um bom exemplo porque se enquadra na faixa com a qual muitas equipes de crescimento e produto realmente trabalham.
Exemplo: linha de base pequena, elevação mínima
Agora imagine uma linha de base de 2% e um aumento de 0,3 ponto percentual. A amostra necessária aumenta rapidamente porque o efeito é pequeno e a linha de base é relativamente baixa.
É por isso que efeitos de alvo muito pequenos podem tornar os experimentos impraticáveis para experiências com baixo fluxo de pessoas.
A lição prática
Exemplos como esses mostram que a questão fundamental não é apenas a quantidade de tráfego que você tem. É se o efeito que lhe interessa é grande o suficiente para ser detectado no tráfego que você consegue coletar de forma realista.
É por isso que o planejamento do tamanho da amostra é um filtro estratégico para a experimentação.
Como aprender com exemplos sem copiá-los
Os exemplos são extremamente úteis para desenvolver a intuição sobre como as suposições interagem. Eles mostram como a linha de base, o tamanho do efeito e o poder estatístico podem influenciar a necessidade de tráfego muito mais do que as pessoas esperam.
O que os exemplos não devem fazer é substituir suas próprias contribuições de planejamento. Mesmo um teste com aparência muito semelhante pode precisar de uma amostra diferente se o público, a métrica ou a linha de base se comportarem de maneira diferente.
- Use exemplos para entender a direção, não para copiar um modelo predefinido.
- Compare sua própria linha de base e MDE com a configuração de exemplo.
- Considere os números de exemplo como ilustrativos e não prescritivos.
- Execute seu próprio cenário na calculadora antes de iniciar.