Explicación del efecto mínimo detectable
El efecto mínimo detectable, a menudo abreviado como EMD, es el aumento o disminución más pequeño que se desea que el experimento pueda detectar. Es uno de los factores más importantes para determinar el tamaño de la muestra en las pruebas A/B.
Qué significa realmente MDE
MDE no es una predicción de lo que sucederá. Es el umbral a partir del cual una diferencia se vuelve lo suficientemente importante como para influir en una decisión.
Eso la convierte en una premisa de planificación sobre la relevancia para el negocio, no solo en una estadística.
Por qué las MDE pequeñas son caras
Detectar un cambio mínimo requiere muchos datos, ya que los efectos pequeños son más difíciles de distinguir del ruido. Los equipos suelen elegir MDE (efectos mínimos de detección) irrealmente pequeños y luego descubren que el tráfico requerido es demasiado alto.
Un MDE más realista suele hacer que una prueba sea mucho más factible.
Cómo elegir uno
Un experimento de diseño de mercado práctico debería reflejar qué factores influirían en una decisión. Si un aumento de 0,2 puntos porcentuales no justifica el esfuerzo de implementación, diseñar el experimento en torno a la detección de dicho cambio podría tener poco valor.
Elige un tamaño de efecto que sea significativo y realista para tu tráfico.
Cómo los equipos eligen un MDE realista
Un análisis de datos de mercado realista suele surgir de la combinación del impacto comercial con la realidad del tráfico. Si un cambio es demasiado pequeño para tener relevancia comercial, puede que no valga la pena realizar una prueba, aunque resulte estadísticamente interesante.
El error opuesto consiste en elegir un MDE irrealmente grande solo para acortar la prueba. Esto puede impedir que el experimento detecte mejoras que en realidad serían valiosas.
- Vincula el MDE al impacto empresarial, no solo a la curiosidad.
- Comprueba que el efecto objetivo sea plausible para el experimento.
- Evite reducir el tamaño del MDE hasta que el tiempo de ejecución se vuelva imposible.
- Evite inflar el MDE solo para forzar una muestra más pequeña.