¿Qué factores determinan el tamaño de la muestra en las pruebas A/B?
El tamaño de la muestra para una prueba A/B depende principalmente de cuatro factores: su nivel de confianza, la potencia objetivo, la tasa de conversión de referencia y el efecto mínimo detectable que le interese.
Los incrementos previstos menores requieren más tráfico, mientras que los incrementos previstos mayores requieren menos. Las tasas de conversión iniciales más bajas también tienden a aumentar la muestra necesaria.
Por qué esto es importante
Realizar un experimento con datos insuficientes aumenta la probabilidad de pasar por alto diferencias reales o de reaccionar de forma exagerada ante el ruido aleatorio. Planificar el tamaño de la muestra con antelación reduce la tentación de detener el experimento prematuramente debido a resultados inestables.
Esta página te ofrece un objetivo práctico por variante para que puedas evaluar si una prueba es realista antes de su lanzamiento.
- Estimar las necesidades de tráfico antes del lanzamiento.
- Establezca duraciones de prueba realistas.
- Evite los experimentos con potencia estadística insuficiente.
- Alinear a los equipos sobre qué se considera un levantamiento significativo
Cómo utilizar el resultado
El resultado por variante indica aproximadamente cuántas observaciones debería recibir cada variante. El tamaño total de la muestra es el tráfico combinado de ambas variantes.
Si el resultado parece demasiado grande para el tráfico disponible, el siguiente paso habitual es reconsiderar el efecto mínimo detectable, no ejecutar la misma prueba con menos datos.
Cómo convertir el resultado en un plan de pruebas
Una vez que tengas un objetivo de muestra por variante, compáralo con el tráfico semanal para estimar cuánto tiempo deberá durar el experimento. Esto te ayudará a decidir si la prueba es realista antes de comprometerte con el diseño y la ingeniería.
El tamaño de la muestra es solo una parte de la calidad del experimento. Un seguimiento preciso, una línea base estable y una regla de detención clara siguen siendo importantes, ya que una muestra grande no puede compensar una prueba mal ejecutada.
- Calcula la duración a partir del tráfico por variante, no del tráfico total del sitio.
- Seleccione el efecto mínimo detectable antes del lanzamiento.
- Mantenga la asignación y el seguimiento estables durante la ejecución.
- Evite detenerse prematuramente cuando los resultados parezcan prometedores temporalmente.