Exempel på A/B-teststorlekar
Exempel gör A/B-testplanering enklare eftersom de visar hur antaganden förändrar trafikkravet. Den här sidan fokuserar på intuition snarare än formella bevis.
Exempel: måttlig baslinje, måttlig lyft
Tänk dig en sida med en baskonverteringsfrekvens på 10 % och en målökning på 2 procentenheter. Den typen av upplägg ger ofta ett hanterbart men ändå meningsfullt urvalskrav.
Det är ett bra exempel eftersom det ligger inom det intervall som många tillväxt- och produktteam faktiskt arbetar med.
Exempel: liten baslinje, liten lyftning
Tänk dig nu ett basvärde på 2 % och en höjning på 0,3 procentenheter. Det erforderliga urvalet ökar snabbt eftersom effekten är liten och basvärdet är relativt lågt.
Det är därför mycket små måleffekter kan göra experiment opraktiska för upplevelser med låg trafik.
Den praktiska lektionen
Exempel som dessa visar att den viktigaste frågan inte bara är hur mycket trafik du har. Det är om effekten du bryr dig om är tillräckligt stor för att upptäcka inom den trafik du realistiskt kan samla in.
Det är det som gör planering av urvalsstorlek till ett strategiskt filter för experiment.
Hur man lär sig av exempel utan att kopiera dem
Exempel är mest användbara för att bygga upp intuition kring hur antaganden samverkar. De visar hur baslinje, effektstorlek och kraft kan påverka trafikkravet mycket mer än vad folk förväntar sig.
Vad exempel inte bör göra är att ersätta dina egna planeringsinput. Även ett test som ser väldigt likt ut kan behöva ett annat urval om målgruppen, mätvärdet eller baslinjen beter sig annorlunda.
- Använd exempel för att förstå riktning, inte för att kopiera ett exempelmål
- Jämför din egen baslinje och MDE med exempeluppställningen
- Behandla exempelnummer som illustrativa snarare än föreskrivande
- Kör ditt eget scenario i kalkylatorn innan du startar