Taux de conversion de référence dans la planification des tests A/B
Le taux de conversion de référence correspond au taux de conversion attendu pour l'expérience témoin avant le début de l'expérimentation. Il est important car un même objectif d'augmentation peut nécessiter des tailles d'échantillon différentes selon le point de départ.
Pourquoi les modifications de la ligne de base entraînent-elles des changements dans le calcul ?
Une variation de 2 % à 3 % se comporte différemment d'une variation de 20 % à 21 %, même si les deux situations peuvent paraître simples sur le papier. La valeur de référence influence la variance du résultat et, par conséquent, la taille de l'échantillon nécessaire.
C’est pourquoi des données de contrôle récentes sont préférables à une estimation approximative.
Comment choisir une ligne de base
Les données de référence les plus pertinentes proviennent généralement de données récentes et comparables, issues de la même étape du parcours client ou du même contexte expérimental. Si la saisonnalité, la source du trafic ou la composition de l'audience ont évolué, les données de référence plus anciennes peuvent être trompeuses.
En cas d'incertitude élevée, les planificateurs de tests calculent parfois une plage de valeurs en utilisant plusieurs scénarios de référence plausibles.
Ce qu'il faut éviter
Évitez d'utiliser des objectifs trop ambitieux comme références. La référence doit refléter la réalité actuelle, et non ce que vous espérez atteindre. Des références trop optimistes peuvent engendrer des estimations de trafic trompeuses et une mauvaise planification des tests.
Comment maintenir la fiabilité de la base de référence
La meilleure référence est constituée de données récentes provenant de la même audience et correspondant à la même étape du parcours client que celle que vous prévoyez de tester. Une moyenne générale pour l'ensemble du site peut être trompeuse si l'expérience est menée sur un segment plus restreint ou plus volatil.
En cas de forte incertitude, il est souvent préférable d'estimer une fourchette de tailles d'échantillon en utilisant plusieurs scénarios plausibles. Cela permet à l'équipe de disposer d'une marge de manœuvre pour la planification, plutôt que d'avoir une fausse impression de précision.
- Privilégier les données de contrôle récentes aux moyennes historiques
- Faire correspondre la base de référence à l'audience et à la métrique exactes du test
- Surveillez les changements saisonniers ou de la composition du trafic.
- Utilisez une plage de valeurs lorsque l'incertitude de base reste élevée.