Explication de l'effet minimal détectable
L’effet minimal détectable (EMD) correspond à la plus petite variation (augmentation ou diminution) que votre expérience doit pouvoir détecter. Il s’agit d’un des principaux facteurs déterminant la taille de l’échantillon pour les tests A/B.
Que signifie réellement MDE ?
L'effet maximal de différence (EMD) n'est pas une prédiction de ce qui va se passer. Il s'agit du seuil à partir duquel une différence devient suffisamment importante pour influencer une décision.
Cela en fait une hypothèse de planification relative à la pertinence commerciale, et non pas seulement des statistiques.
Pourquoi les petits MDE sont-ils chers ?
Détecter une variation infime exige une grande quantité de données, car les effets minimes sont difficiles à distinguer du bruit. Les équipes choisissent souvent des seuils de détection irréalistes (MDE) et constatent ensuite que le trafic réseau requis est trop important.
Un MDE plus réaliste rend souvent un test beaucoup plus faisable.
Comment en choisir un
Une expérience pratique d'évaluation multicritères (MDE) doit refléter les facteurs susceptibles de modifier une décision. Si une augmentation de 0,2 point de pourcentage ne justifie pas un effort de déploiement, il est probablement peu pertinent de concevoir l'expérience autour de la détection de ce changement.
Choisissez une taille d'effet à la fois pertinente et réaliste pour votre trafic.
Comment les équipes choisissent un MDE réaliste
Un test réaliste repose généralement sur la prise en compte de l'impact commercial et des réalités du trafic. Si une modification est trop mineure pour avoir un impact commercial, il n'est peut-être pas judicieux de développer un test, même si elle présente un intérêt statistique.
L'erreur inverse consiste à choisir une MDE irréaliste dans le seul but de raccourcir le test. Cela peut empêcher l'expérience de détecter des améliorations qui seraient pourtant précieuses.
- Associez l'expérience multidisciplinaire à un impact commercial, et pas seulement à la curiosité.
- Vérifiez que l'effet recherché est plausible pour l'expérience.
- Évitez de réduire la MDE jusqu'à ce que l'exécution devienne impossible
- Évitez de gonfler la MDE simplement pour obtenir un échantillon plus petit.