Tasso di conversione di base nella pianificazione dei test A/B
Il tasso di conversione di base è il tasso di conversione previsto per l'esperienza di controllo prima dell'inizio dell'esperimento. È importante perché lo stesso obiettivo di miglioramento può richiedere dimensioni del campione diverse a seconda del punto di partenza.
Perché la linea di base modifica il calcolo
Una variazione dal 2% al 3% si comporta in modo diverso da una variazione dal 20% al 21%, anche se entrambe potrebbero sembrare semplici sulla carta. Il valore di riferimento influenza la varianza del risultato e quindi incide sulla dimensione del campione necessaria.
Ecco perché i dati di controllo recenti sono preferibili a una stima approssimativa.
Come scegliere una linea di base
Il miglior punto di riferimento deriva solitamente da dati recenti e comparabili relativi alla stessa fase del funnel o allo stesso contesto sperimentale. Se la stagionalità, la fonte di traffico o il mix di pubblico sono cambiati, i dati di riferimento più vecchi potrebbero essere fuorvianti.
Se l'incertezza è elevata, chi pianifica i test a volte calcola un intervallo utilizzando più di una linea di base plausibile.
Cosa evitare
Evitate di utilizzare obiettivi ambiziosi come parametri di riferimento. Il parametro di riferimento dovrebbe riflettere la realtà attuale, non ciò che sperate di raggiungere. Parametri di riferimento ottimistici possono produrre stime di traffico fuorvianti e una pianificazione dei test inadeguata.
Come mantenere affidabile la linea di base
Il punto di riferimento migliore è rappresentato da dati recenti relativi allo stesso pubblico e alla stessa fase del funnel che si intende testare. Una media generale a livello di sito può essere fuorviante se l'esperimento verrà condotto su un segmento più ristretto o più volatile.
Quando l'incertezza è elevata, spesso è meglio stimare un intervallo di dimensioni del campione utilizzando più di una base di riferimento plausibile. Questo fornisce al team un margine di pianificazione anziché una falsa impressione di precisione.
- Preferire i dati di controllo più recenti alle medie storiche.
- Associa la linea di base al pubblico di test e alla metrica esatti.
- Presta attenzione ai cambiamenti stagionali o al mix di traffico.
- Utilizzare un intervallo quando l'incertezza di base è ancora elevata.