Quali fattori influenzano la dimensione del campione per i test A/B?
La dimensione del campione per un test A/B dipende principalmente da quattro fattori: il livello di confidenza, la potenza statistica desiderata, il tasso di conversione di base e l'effetto minimo rilevabile che si intende considerare.
Un volume di traffico inferiore richiede più traffico, mentre un volume di traffico superiore ne richiede meno. Anche tassi di conversione di base più bassi tendono ad aumentare il campione necessario.
Perché è importante
Condurre un esperimento con un numero insufficiente di dati rende più facile non rilevare differenze reali o reagire in modo eccessivo al rumore casuale. Pianificare in anticipo la dimensione del campione riduce la tentazione di interrompere prematuramente l'esperimento a causa di risultati instabili.
Questa pagina fornisce un obiettivo pratico per ogni variante, in modo da poter valutare se un test è realistico prima del lancio.
- Stimare il fabbisogno di traffico prima del lancio
- Imposta durate di prova realistiche
- Evitare esperimenti con potenza statistica insufficiente.
- Allineare i team su cosa si intende per sollevamento significativo
Come utilizzare il risultato
Il risultato per variante indica approssimativamente quante osservazioni dovrebbe ricevere ciascuna variante. La dimensione totale del campione corrisponde al traffico combinato di entrambe le varianti.
Se il risultato sembra eccessivo rispetto al traffico disponibile, il passo successivo usuale è riconsiderare l'effetto minimo rilevabile, non eseguire lo stesso test con meno dati.
Come trasformare il risultato in un piano di test
Una volta definito l'obiettivo di campionamento per ciascuna variante, confrontatelo con il traffico settimanale per stimare la durata necessaria all'esperimento. Questo vi aiuterà a valutare la fattibilità del test prima di avviare la fase di progettazione e sviluppo.
La dimensione del campione è solo una parte della qualità di un esperimento. Un tracciamento preciso, una linea di base stabile e una chiara regola di arresto sono comunque importanti, perché un campione ampio non può salvare un esperimento mal condotto.
- La durata della stima si basa sul traffico per variante, non sul traffico totale del sito.
- Scegliere l'effetto minimo rilevabile prima del lancio
- Mantenere stabili l'allocazione e il tracciamento durante l'esecuzione.
- Evitate di interrompere l'attività prematuramente quando i risultati sembrano temporaneamente promettenti.