Ejemplos de tamaño de muestra para pruebas A/B
Los ejemplos facilitan la planificación de pruebas A/B, ya que muestran cómo las suposiciones modifican los requisitos de tráfico. Esta página se centra en la intuición más que en la demostración formal.
Ejemplo: nivel de referencia modesto, mejora modesta
Imagina una página con una tasa de conversión base del 10 % y un objetivo de aumento de 2 puntos porcentuales. Este tipo de configuración suele generar un requisito de muestra manejable pero significativo.
Es un buen ejemplo porque se encuentra dentro del rango con el que trabajan muchos equipos de crecimiento y producto.
Ejemplo: línea de base pequeña, elevación mínima
Ahora imaginemos una línea base del 2 % y un aumento de 0,3 puntos porcentuales. El tamaño de muestra necesario aumenta rápidamente porque el efecto es pequeño y la línea base es relativamente baja.
Por eso, los efectos en el objetivo muy pequeños pueden hacer que los experimentos resulten poco prácticos en entornos con poco tráfico.
La lección práctica
Ejemplos como estos demuestran que la clave no reside simplemente en la cantidad de tráfico que se genera, sino en si el efecto que interesa es lo suficientemente significativo como para detectarlo dentro del tráfico que se puede recopilar de forma realista.
Eso es lo que convierte la planificación del tamaño de la muestra en un filtro estratégico para la experimentación.
Cómo aprender de los ejemplos sin copiarlos.
Los ejemplos son muy útiles para desarrollar la intuición sobre cómo interactúan las suposiciones. Muestran cómo la línea base, el tamaño del efecto y la potencia pueden modificar el requisito de tráfico mucho más de lo que la gente espera.
Lo que los ejemplos no deben hacer es reemplazar tus propios datos de planificación. Incluso una prueba que parezca muy similar puede requerir una muestra diferente si el público, la métrica o la línea base se comportan de manera distinta.
- Utilice ejemplos para comprender las instrucciones, no para copiar un objetivo de muestra.
- Compare su propia línea base y MDE con la configuración de ejemplo.
- Considere los números de ejemplo como ilustrativos y no como prescriptivos.
- Ejecuta tu propio escenario en la calculadora antes de lanzar el programa.