Comment calculer la taille d'un échantillon pour un test A/B
La planification de la taille de l'échantillon pour un test A/B consiste principalement à déterminer l'ampleur du changement qu'il est pertinent de détecter et le niveau de certitude souhaité pour le test. Cette page détaille la logique pratique de ce calcul.
Commencez par l'effet qui compte.
La planification des tests A/B commence par le seuil de détection de l'effet minimal, et non par la taille de l'échantillon. Il s'agit d'abord de déterminer quel changement serait suffisamment significatif pour influencer une décision relative au produit, à la croissance ou à la conception.
Des effets infimes nécessitent des échantillons beaucoup plus importants pour être détectés.
Ajoutez confiance et puissance
Le niveau de confiance détermine le degré de tolérance accordé à la variation aléatoire. La puissance statistique détermine la probabilité de détecter un effet réel, s'il existe. Ensemble, ces deux paramètres définissent la sensibilité du test.
Des normes plus élevées, quel que soit le critère, augmentent généralement le trafic nécessaire.
Utilisez une base de référence réaliste
Le taux de conversion de référence sert de point d'ancrage au calcul. Une page qui convertit déjà à 2 % se comporte différemment d'une page qui convertit à 20 %, même si l'augmentation cible semble similaire en valeur absolue.
C’est pourquoi la planification de la taille de l’échantillon pour les tests A/B fonctionne mieux lorsqu’elle utilise des données de référence récentes plutôt que des estimations approximatives.
Une séquence de planification pratique
Il est judicieux de procéder comme suit : définir d’abord le seuil de décision, estimer une valeur de référence réaliste, choisir l’effet minimal détectable, puis seulement s’intéresser à la taille de l’échantillon. Cela permet de maintenir l’expérience en phase avec la pertinence métier, au lieu de se concentrer uniquement sur le trafic.
Cela permet également aux équipes d'éviter de concevoir des tests techniquement valides mais irréalistes sur le plan opérationnel. Si la durée d'exécution est trop longue, les hypothèses initiales doivent généralement être revues avant le lancement.
- Choisissez une taille d'effet qui modifierait réellement une décision.
- Utilisez les données de référence récentes de la même étape du processus.
- Vérifiez le temps d'exécution avant de vous engager dans l'expérience.
- Revoyez le plan au lieu de lancer un test manifestement sous-dimensionné.