Baslinjekonverteringsfrekvens i A/B-testplanering
Baslinjekonverteringsfrekvensen är den förväntade konverteringsfrekvensen för kontrollupplevelsen innan experimentet startar. Detta är viktigt eftersom samma målökning kan kräva olika urvalsstorlekar beroende på var du börjar.
Varför baslinjen ändrar beräkningen
En förändring från 2 % till 3 % beter sig annorlunda än en förändring från 20 % till 21 %, även om båda kan se enkla ut på pappret. Baslinjen formar variansen i resultatet och påverkar därför kravet på urvalsstorlek.
Därför är aktuella kontrolldata att föredra framför en grov gissning.
Hur man väljer en baslinje
Den bästa baslinjen kommer vanligtvis från aktuell, jämförbar data från samma trattsteg eller experimentkontext. Om säsongsvariationer, trafikkälla eller målgruppsmix har ändrats kan äldre baslinjer vara missvisande.
Om osäkerheten är hög beräknar testplanerare ibland ett intervall med hjälp av mer än en rimlig baslinje.
Vad man ska undvika
Undvik att använda ambitiösa mål som baslinjer. Baslinjen bör återspegla den aktuella verkligheten, inte vad du hoppas uppnå. Optimistiska baslinjer kan ge vilseledande trafikuppskattningar och dålig testplanering.
Hur man håller baslinjen trovärdig
Den bästa baslinjen är aktuell data från samma målgrupp och samma steg i tratten som du planerar att testa. Ett brett genomsnitt för hela webbplatsen kan vara missvisande om experimentet körs på ett smalare eller mer volatilt segment.
När osäkerheten är hög är det ofta bättre att uppskatta ett intervall av urvalsstorlekar med hjälp av mer än en rimlig baslinje. Det ger teamet ett planeringsband istället för en falsk känsla av precision.
- Föredra aktuell kontrolldata framför historiska medelvärden
- Matcha baslinjen med den exakta testgruppen och mätvärdet
- Var uppmärksam på säsongsvariationer eller förändringar i trafikmixen
- Använd ett intervall när baslinjeosäkerheten fortfarande är hög