Esempi di dimensioni del campione per i test A/B

Immaginate una pagina con un tasso di conversione di base del 10% e un obiettivo di incremento del 2%. Questo tipo di impostazione spesso produce un campione gestibile ma comunque significativo.

È un buon esempio perché rientra nell'intervallo con cui molti team di crescita e di prodotto lavorano effettivamente.

Ora immaginiamo un valore di riferimento del 2% e un incremento di 0,3 punti percentuali. Il campione necessario aumenta rapidamente perché l'effetto è piccolo e il valore di riferimento è relativamente basso.

Ecco perché effetti target molto piccoli possono rendere gli esperimenti impraticabili per esperienze a basso traffico.

Esempi come questi dimostrano che la questione fondamentale non è solo quanto traffico si ha, ma se l'effetto che ci interessa è sufficientemente ampio da poter essere rilevato all'interno del traffico che è realisticamente possibile raccogliere.

Ecco perché la pianificazione della dimensione del campione rappresenta un filtro strategico per la sperimentazione.

Gli esempi sono molto utili per sviluppare l'intuizione su come interagiscono le ipotesi. Mostrano come la linea di base, la dimensione dell'effetto e la potenza statistica possano influenzare il fabbisogno di traffico molto più di quanto ci si aspetti.

Gli esempi non devono in alcun modo sostituire i vostri input di pianificazione. Anche un test apparentemente molto simile può richiedere un campione diverso se il pubblico, la metrica o il parametro di riferimento si comportano in modo differente.