Cómo calcular el tamaño de la muestra para una prueba A/B
La planificación del tamaño de la muestra para las pruebas A/B consiste principalmente en decidir qué magnitud de cambio es relevante detectar y cuánta certeza se desea obtener en la prueba. Esta página explica la lógica práctica que subyace a este cálculo.
Empieza por el efecto que importa.
La planificación de pruebas A/B comienza con el efecto mínimo detectable, no con el tamaño de la muestra en sí. Primero, se decide qué cambio sería lo suficientemente significativo como para influir en una decisión de producto, crecimiento o diseño.
Los efectos pequeños requieren muestras mucho más grandes para ser detectados.
Añade confianza y poder.
El nivel de confianza determina el grado de rigurosidad con respecto a la variación aleatoria. La potencia estadística determina la probabilidad de detectar un efecto real, en caso de que exista. En conjunto, ambos factores definen la sensibilidad de la prueba.
Unos estándares más exigentes en cualquiera de las dos medidas suelen aumentar el tráfico necesario.
Utilice una línea de base realista.
La tasa de conversión base sirve de punto de partida para el cálculo. Una página que ya convierte al 2 % se comporta de manera diferente a una página que convierte al 20 %, incluso cuando el incremento objetivo parece similar en puntos absolutos.
Por eso, la planificación del tamaño de la muestra para las pruebas A/B funciona mejor cuando se utilizan datos de referencia recientes en lugar de estimaciones aproximadas.
Una secuencia de planificación práctica
Un orden útil consiste en definir primero el umbral de decisión, estimar una línea base realista, elegir el efecto mínimo detectable y solo entonces considerar el tamaño de la muestra. Esto permite que el experimento se centre en la relevancia comercial en lugar de partir únicamente del tráfico.
También ayuda a los equipos a evitar diseñar pruebas que sean técnicamente válidas pero operativamente poco realistas. Si el tiempo de ejecución es demasiado largo, generalmente es necesario revisar las suposiciones iniciales antes del lanzamiento.
- Elige un tamaño de efecto que realmente cambie una decisión.
- Utilice datos de referencia recientes del mismo paso del embudo.
- Verifique el tiempo de ejecución antes de comprometerse con el experimento.
- En lugar de lanzar una prueba obviamente insuficiente, revise el plan.