Puissance statistique des tests A/B
La puissance statistique correspond à la probabilité que votre test détecte un effet réel de l'ampleur qui vous intéresse. En pratique, c'est l'un des moyens les plus clairs d'évaluer la probabilité que votre expérience passe à côté d'un résultat important.
Que signifie le pouvoir ?
Si la puissance statistique est de 80 %, votre test est conçu pour détecter l'effet recherché dans environ 80 % des cas, si cet effet existe réellement. Une puissance statistique plus faible augmente le risque de passer à côté de différences réelles.
Cela fait de la puissance un paramètre de planification fondamental plutôt qu'un détail avancé.
Pourquoi une puissance plus élevée nécessite un échantillon plus grand
Une puissance accrue implique une sensibilité plus grande, ce qui nécessite généralement davantage d'observations. Ce compromis devient particulièrement évident lorsque l'effet attendu est faible.
De nombreuses équipes utilisent 80 % comme norme commune car cela permet d'équilibrer rigueur et praticité.
Comment l'utiliser dans la planification
La puissance d'un test n'a de sens qu'en présence de l'effet minimal détectable. Un test peut être très puissant pour détecter un effet important et sous-puissant pour détecter un effet faible.
C’est pourquoi il ne faut jamais parler de puissance sans connaître l’ampleur de l’effet recherché.
Comment le pouvoir influence les décisions relatives aux expériences réelles
La puissance statistique est importante car un test sous-dimensionné peut ne donner aucun résultat significatif, même en présence d'un changement réel. Cela conduit souvent les équipes à conclure, à tort, qu'une idée n'a pas fonctionné.
Réfléchir à la puissance de calcul permet également de définir des attentes claires avec les parties prenantes. Un test avec un trafic limité peut s'avérer pertinent, mais il est essentiel que chacun comprenne l'ampleur de l'effet qu'il peut et ne peut pas détecter de manière fiable.
- Utilisez la puissance pour évaluer le risque de passer à côté d'un effet réel.
- Discutez des questions de pouvoir avec le MDE, jamais seul.
- Expliquez le compromis entre la sensibilité et le temps d'exécution
- Évitez de considérer des résultats non significatifs comme la preuve d'une absence de différence.