Tasa de conversión de referencia en la planificación de pruebas A/B
La tasa de conversión de referencia es la tasa de conversión esperada para la experiencia de control antes de que comience el experimento. Es importante porque el mismo objetivo de mejora puede requerir diferentes tamaños de muestra dependiendo del punto de partida.
Por qué la línea base modifica el cálculo.
Un cambio del 2% al 3% se comporta de manera diferente a un cambio del 20% al 21%, aunque ambos puedan parecer sencillos sobre el papel. El valor de referencia determina la varianza en el resultado y, por lo tanto, afecta al tamaño de muestra requerido.
Por eso, es preferible contar con datos de control recientes a una simple suposición.
Cómo elegir una línea de base
La mejor referencia suele provenir de datos recientes y comparables de la misma etapa del embudo de conversión o contexto experimental. Si la estacionalidad, la fuente de tráfico o la composición de la audiencia han cambiado, las referencias anteriores pueden resultar engañosas.
Si la incertidumbre es alta, los planificadores de pruebas a veces calculan un rango utilizando más de una línea base plausible.
Qué evitar
Evite usar objetivos ambiciosos como referencia. La referencia debe reflejar la realidad actual, no lo que espera alcanzar. Las referencias optimistas pueden generar estimaciones de tráfico engañosas y una mala planificación de las pruebas.
Cómo mantener la fiabilidad de la línea base
La mejor referencia son los datos recientes de la misma audiencia y la misma etapa del embudo de conversión que se planea analizar. Un promedio general del sitio web puede resultar engañoso si el experimento se realizará en un segmento más específico o volátil.
Cuando la incertidumbre es alta, suele ser mejor estimar un rango de tamaños de muestra utilizando más de una línea base plausible. Esto proporciona al equipo un margen de planificación en lugar de una falsa sensación de precisión.
- Prefiera los datos de control recientes a los promedios históricos.
- Adapte la línea base al público objetivo y la métrica de prueba exactos.
- Esté atento a los cambios estacionales o en la composición del tráfico.
- Utilice un rango cuando la incertidumbre de la línea base aún sea alta.