Exemples de taille d'échantillon pour un test A/B
Les exemples facilitent la planification des tests A/B car ils montrent comment les hypothèses modifient les besoins en trafic. Cette page privilégie l'intuition plutôt que la démonstration formelle.
Exemple : niveau de base modeste, rehaussement modeste
Imaginez une page avec un taux de conversion de base de 10 % et un objectif d'augmentation de 2 points de pourcentage. Ce type de configuration permet généralement d'obtenir un échantillon pertinent mais gérable.
C'est un bon exemple car il se situe dans la fourchette avec laquelle de nombreuses équipes de croissance et de produits travaillent réellement.
Exemple : ligne de base étroite, légère remontée
Imaginons maintenant une valeur de référence de 2 % et une augmentation de 0,3 point de pourcentage. La taille de l'échantillon requis augmente rapidement car l'effet est faible et la valeur de référence relativement basse.
C’est pourquoi des effets cibles très faibles peuvent rendre les expériences impraticables pour les expériences à faible trafic.
La leçon pratique
Ces exemples montrent que la question essentielle n'est pas seulement le volume de trafic, mais plutôt de savoir si l'effet recherché est suffisamment important pour être détecté au sein du trafic qu'il est réaliste de collecter.
C’est ce qui fait de la planification de la taille de l’échantillon un filtre stratégique pour l’expérimentation.
Comment apprendre des exemples sans les copier
Les exemples sont particulièrement utiles pour mieux comprendre l'interaction des hypothèses. Ils montrent comment la situation de référence, l'ampleur de l'effet et la puissance statistique peuvent influencer les besoins en trafic bien plus qu'on ne le pense.
Les exemples ne doivent pas remplacer vos propres données de planification. Même un test d'apparence très similaire peut nécessiter un échantillon différent si le public cible, l'indicateur ou la situation de référence se comportent différemment.
- Utilisez des exemples pour comprendre la direction, et non pour copier une cible type.
- Comparez vos propres valeurs de référence et votre MDE à la configuration d'exemple.
- Considérez les chiffres donnés à titre d'exemple plutôt que comme des directives.
- Effectuez votre propre simulation dans le calculateur avant de lancer le projet.