Qu'est-ce qui détermine la taille de l'échantillon d'un test A/B ?
La taille de l'échantillon d'un test A/B dépend principalement de quatre choix : votre niveau de confiance, la puissance cible, votre taux de conversion de base et l'effet minimal détectable qui vous intéresse.
Des augmentations de trafic prévues plus faibles nécessitent un trafic plus important, tandis que des augmentations plus importantes en nécessitent moins. Des taux de conversion de base plus faibles tendent également à augmenter la taille de l'échantillon nécessaire.
Pourquoi c'est important
Mener une expérience avec trop peu de données augmente le risque de passer à côté de différences réelles ou de surinterpréter les résultats aléatoires. Planifier la taille de l'échantillon à l'avance réduit la tentation d'interrompre l'expérience prématurément en raison de résultats instables.
Cette page vous donne un objectif pratique pour chaque variante, ce qui vous permet de juger si un test est réaliste avant son lancement.
- Estimer les besoins en trafic avant le lancement
- Définir des durées de test réalistes
- Évitez les expériences sous-dimensionnées.
- Alignez les équipes sur ce qui constitue une amélioration significative.
Comment utiliser le résultat
Le résultat par variante indique approximativement le nombre d'observations que chaque variante devrait recevoir. La taille totale de l'échantillon correspond au trafic combiné des deux variantes.
Si le résultat semble disproportionné par rapport à votre trafic disponible, l'étape suivante consiste généralement à reconsidérer l'effet minimal détectable, et non à exécuter le même test avec moins de données.
Comment transformer le résultat en un plan de test
Une fois que vous avez défini un échantillon cible par variante, comparez-le au trafic hebdomadaire pour estimer la durée nécessaire de l'expérience. Cela vous permettra de déterminer si le test est réaliste avant d'engager des travaux de conception et d'ingénierie.
La taille de l'échantillon ne représente qu'un aspect de la qualité d'une expérience. Un suivi précis, une ligne de base stable et une règle d'arrêt claire restent essentiels, car un échantillon important ne peut compenser un test mal mené.
- Estimer la durée à partir du trafic par variante, et non du trafic total du site
- Choisissez l'effet minimal détectable avant le lancement
- Maintenir la stabilité de l'allocation et du suivi pendant l'exécution
- Évitez d'interrompre prématurément les résultats, même lorsqu'ils semblent temporairement prometteurs.