Voorbeelden van steekproefgroottes voor A/B-tests
Voorbeelden maken het plannen van A/B-tests eenvoudiger, omdat ze laten zien hoe aannames de verkeersbehoefte beïnvloeden. Deze pagina richt zich op intuïtie in plaats van op formeel bewijs.
Voorbeeld: bescheiden basisniveau, bescheiden verhoging
Stel je een pagina voor met een basisconversiepercentage van 10% en een streefwaarde van 2 procentpunten. Zo'n opzet levert vaak een beheersbare, maar toch zinvolle steekproefomvang op.
Het is een goed voorbeeld omdat het binnen het bereik ligt waarmee veel groei- en productteams daadwerkelijk werken.
Voorbeeld: kleine basislijn, kleine lift
Stel je nu een basislijn van 2% voor en een verhoging van 0,3 procentpunt. De benodigde steekproefomvang neemt snel toe, omdat het effect klein is en de basislijn relatief laag.
Dit is de reden waarom zeer kleine doeleffecten experimenten onpraktisch kunnen maken voor ervaringen met weinig verkeer.
De praktische les
Voorbeelden zoals deze laten zien dat de kernvraag niet alleen is hoeveel verkeer je hebt. Het gaat erom of het effect waar je om geeft groot genoeg is om te detecteren binnen het verkeer dat je realistisch kunt verzamelen.
Dat maakt het plannen van de steekproefomvang tot een strategisch filter voor experimenten.
Hoe leer je van voorbeelden zonder ze te kopiëren?
Voorbeelden zijn vooral nuttig om inzicht te krijgen in hoe aannames op elkaar inwerken. Ze laten zien hoe de basislijn, de effectgrootte en de power de verkeersbehoefte veel meer kunnen beïnvloeden dan men verwacht.
Wat voorbeelden níét moeten doen, is uw eigen planningsinput vervangen. Zelfs een test die er erg vergelijkbaar uitziet, kan een andere steekproef vereisen als het publiek, de meeteenheid of de basislijn zich anders gedraagt.
- Gebruik voorbeelden om de richting te begrijpen, niet om een voorbeelddoelwit te kopiëren.
- Vergelijk uw eigen basislijn en MDE met de voorbeeldconfiguratie.
- Beschouw de voorbeeldcijfers als illustratief en niet als voorschrijvend.
- Voer je eigen scenario uit in de calculator voordat je het programma start.