Wat bepaalt de steekproefomvang van A/B-tests?
De steekproefgrootte voor een A/B-test hangt hoofdzakelijk af van vier factoren: uw betrouwbaarheidsniveau, uw beoogde power, uw basisconversieratio en het minimaal detecteerbare effect dat voor u van belang is.
Kleinere verwachte verbeteringen vereisen meer verkeer, terwijl grotere verwachte verbeteringen minder verkeer vereisen. Lagere basisconversiepercentages leiden doorgaans ook tot een grotere benodigde steekproefomvang.
Waarom dit belangrijk is
Een experiment uitvoeren met te weinig data vergroot de kans op het missen van echte verschillen of het overreageren op willekeurige ruis. Door de steekproefomvang van tevoren te plannen, verklein je de verleiding om vroegtijdig te stoppen op basis van instabiele resultaten.
Op deze pagina vindt u een praktisch streefdoel per variant, zodat u kunt beoordelen of een test realistisch is vóór de lancering.
- Schat de verkeersbehoeften in vóór de lancering.
- Stel realistische testduur in.
- Vermijd experimenten met onvoldoende statistische power.
- Zorg dat de teams het eens zijn over wat een zinvolle verbetering inhoudt.
Hoe het resultaat te gebruiken
Het resultaat per variant geeft een ruwe schatting van het aantal waarnemingen dat elke variant zou moeten ontvangen. De totale steekproefomvang is het gecombineerde verkeer over beide varianten.
Als het resultaat te groot lijkt voor uw beschikbare dataverkeer, is de gebruikelijke volgende stap om het minimaal detecteerbare effect opnieuw te bekijken, en niet om dezelfde test met minder data uit te voeren.
Hoe zet je het resultaat om in een testplan?
Zodra je een streefwaarde voor de steekproef per variant hebt vastgesteld, vergelijk je deze met het wekelijkse verkeer om te schatten hoe lang het experiment moet lopen. Dit helpt je te bepalen of de test realistisch is voordat je begint met het ontwerpen en ontwikkelen ervan.
De steekproefomvang is slechts één aspect van de kwaliteit van een experiment. Nauwkeurige registratie, een stabiele basislijn en een duidelijke stopregel blijven belangrijk, omdat een grote steekproef een slecht uitgevoerde test niet kan redden.
- Schat de duur op basis van het verkeer per variant, niet op basis van het totale siteverkeer.
- Kies het minimaal detecteerbare effect vóór de lancering.
- Zorg ervoor dat de toewijzing en de tracking stabiel blijven gedurende de run.
- Stop niet voortijdig, ook al lijken de resultaten op dit moment veelbelovend.