Hur man beräknar A/B-testprovstorleken

Planering av A/B-test börjar med den minsta detekterbara effekten, inte med själva urvalsstorleken. Först bestämmer du vilken förändring som faktiskt skulle vara tillräckligt meningsfull för att påverka ett produkt-, tillväxt- eller designbeslut.

Små effekter kräver mycket större stickprov för att upptäckas.

Konfidensnivån styr hur strikt du vill vara gällande slumpmässig variation. Styrkan styr hur sannolikt det är att du upptäcker en verklig effekt om den existerar. Tillsammans sätter de testets känslighet.

Högre standarder för båda åtgärderna ökar vanligtvis den trafik som behövs.

Baskonverteringsfrekvensen är grunden för beräkningen. En sida som redan konverterar med 2 % beter sig annorlunda än en sida som konverterar med 20 %, även när målökningen ser liknande ut i absoluta punkter.

Det är därför planering av urvalsstorlek för A/B-test fungerar bäst när den använder aktuell baslinjedata snarare än grova gissningar.

En bra ordning är att först definiera beslutströskeln, uppskatta en realistisk baslinje, välja den minsta detekterbara effekten och först sedan titta på urvalsstorleken. Det håller experimentet förankrat i affärsrelevans istället för att börja enbart med trafik.

Det hjälper också team att undvika att utforma tester som är tekniskt giltiga men operationellt orealistiska. Om körtiden blir för lång behöver de tidigare antagandena vanligtvis revideras före lansering.