Basisconversiepercentage bij A/B-testplanning
De basisconversieratio is de verwachte conversieratio voor de controlegroep voordat het experiment begint. Dit is belangrijk omdat dezelfde beoogde verbetering verschillende steekproefgroottes kan vereisen, afhankelijk van het startpunt.
Waarom de basislijn de berekening beïnvloedt
Een verandering van 2% naar 3% gedraagt zich anders dan een verandering van 20% naar 21%, ook al lijken beide op papier eenvoudig. De basislijn bepaalt de variantie in de uitkomst en heeft daardoor invloed op de benodigde steekproefomvang.
Daarom zijn recente controlegegevens te verkiezen boven een ruwe schatting.
Hoe kies je een basislijn?
De beste basislijn is doorgaans gebaseerd op recente, vergelijkbare gegevens uit dezelfde fase van de marketingtrechter of experimentele context. Als seizoensinvloeden, verkeersbronnen of de samenstelling van het publiek zijn veranderd, kunnen oudere basislijnen misleidend zijn.
Bij grote onzekerheid berekenen testplanners soms een bereik op basis van meer dan één plausibele basislijn.
Wat je moet vermijden
Vermijd het gebruik van ambitieuze doelen als uitgangspunt. Het uitgangspunt moet de huidige realiteit weerspiegelen, niet wat u hoopt te bereiken. Optimistische uitgangspunten kunnen leiden tot misleidende verkeersramingen en een gebrekkige testplanning.
Hoe zorg je ervoor dat de basislijn betrouwbaar blijft?
De beste basislijn zijn recente gegevens van dezelfde doelgroep en dezelfde fase in de verkooptrechter die je wilt testen. Een algemeen gemiddelde over de hele website kan misleidend zijn als het experiment wordt uitgevoerd op een smaller of meer volatiel segment.
Bij grote onzekerheid is het vaak beter om een reeks steekproefgroottes te schatten met behulp van meerdere plausibele basiswaarden. Dat geeft het team een planningsmarge in plaats van een vals gevoel van precisie.
- Geef de voorkeur aan recente controlegegevens boven historische gemiddelden.
- Stem de basislijn af op de exacte testdoelgroep en meetwaarde.
- Let op seizoensgebonden schommelingen of veranderingen in de verkeerssamenstelling.
- Gebruik een bereik wanneer de onzekerheid over de basislijn nog steeds groot is.