Taxa de conversão inicial no planejamento de testes A/B
A taxa de conversão basal é a taxa de conversão esperada para a experiência de controle antes do início do experimento. Ela é importante porque o mesmo aumento alvo pode exigir tamanhos de amostra diferentes, dependendo do ponto de partida.
Por que a linha de base altera o cálculo?
Uma mudança de 2% para 3% comporta-se de maneira diferente de uma mudança de 20% para 21%, embora ambas possam parecer simples no papel. A linha de base influencia a variância no resultado e, portanto, afeta a necessidade de tamanho da amostra.
Por isso, dados de controle recentes são preferíveis a uma estimativa aproximada.
Como escolher uma linha de base
A melhor linha de base geralmente provém de dados recentes e comparáveis da mesma etapa do funil ou contexto experimental. Se a sazonalidade, a fonte de tráfego ou a composição do público-alvo mudaram, as linhas de base mais antigas podem ser enganosas.
Se a incerteza for alta, os planejadores de testes às vezes calculam um intervalo usando mais de uma linha de base plausível.
O que evitar
Evite usar metas ambiciosas como linhas de base. A linha de base deve refletir a realidade atual, não o que você espera alcançar. Linhas de base otimistas podem gerar estimativas de tráfego enganosas e um planejamento de testes inadequado.
Como manter a linha de base confiável
A melhor base de comparação são dados recentes do mesmo público-alvo e da mesma etapa do funil que você planeja testar. Uma média geral do site pode ser enganosa se o experimento for realizado em um segmento mais restrito ou mais volátil.
Quando a incerteza é alta, muitas vezes é melhor estimar uma gama de tamanhos de amostra usando mais de uma linha de base plausível. Isso proporciona à equipe uma margem de planejamento em vez de uma falsa sensação de precisão.
- Prefira dados de controle recentes em vez de médias históricas.
- A linha de base deve corresponder exatamente ao público-alvo e às métricas do teste.
- Fique atento a mudanças sazonais ou na composição do tráfego.
- Use um intervalo quando a incerteza da linha de base ainda for alta.