Kalkylator för A/B-teststorlek

Storleken på A/B-testurvalet beror huvudsakligen på fyra val: din konfidensnivå, din målstyrka, din baslinjekonverteringsfrekvens och den minsta detekterbara effekten du bryr dig om.

Mindre förväntade ökningar kräver mer trafik, medan större förväntade ökningar kräver mindre. Lägre baslinjekonverteringsfrekvenser tenderar också att öka det urval som behövs.

Att genomföra ett experiment med för lite data gör det lättare att missa verkliga skillnader eller överreagera på slumpmässigt brus. Att planera urvalsstorleken i förväg minskar frestelsen att stoppa tidigt baserat på instabila resultat.

Den här sidan ger dig ett praktiskt mål per variant så att du kan bedöma om ett test är realistiskt före lansering.

Resultatet per variant visar ungefär hur många observationer varje variant bör få. Den totala urvalsstorleken är den kombinerade trafiken över båda varianterna.

Om resultatet ser ut att vara för stort för din tillgängliga trafik är det vanliga nästa steget att ompröva den minsta detekterbara effekten, och inte köra samma test med mindre data.

När du har ett urvalsmål per variant, jämför det med veckotrafiken för att uppskatta hur länge experimentet behöver köras. Det hjälper dig att avgöra om testet är realistiskt innan design- och konstruktionsarbetet påbörjas.

Urvalsstorleken är bara en del av experimentets kvalitet. Tydlig spårning, en stabil baslinje och en tydlig stoppregel spelar fortfarande roll eftersom ett stort urval inte kan rädda ett dåligt genomfört test.