Come calcolare la dimensione del campione per un test A/B
La pianificazione della dimensione del campione per un test A/B consiste principalmente nel decidere quale entità di variazione valga la pena rilevare e quanta certezza si desidera avere riguardo al test. Questa pagina illustra la logica pratica alla base di tale calcolo.
Iniziate dall'effetto che conta
La pianificazione dei test A/B inizia con l'effetto minimo rilevabile, non con la dimensione del campione in sé. Per prima cosa, si decide quale cambiamento sarebbe effettivamente sufficientemente significativo da influenzare una decisione relativa al prodotto, alla crescita o al design.
Per rilevare effetti di minima entità sono necessari campioni molto più ampi.
Aggiungi fiducia e potere
Il livello di confidenza controlla quanto si vuole essere rigorosi riguardo alla variazione casuale. La potenza controlla la probabilità di rilevare un effetto reale, qualora esista. Insieme, definiscono la sensibilità del test.
Standard più elevati per entrambe le misure solitamente aumentano il traffico necessario.
Utilizzare una linea di base realistica
Il tasso di conversione di base funge da punto di riferimento per il calcolo. Una pagina che converte già al 2% si comporta in modo diverso da una pagina che converte al 20%, anche quando l'incremento target sembra simile in termini assoluti.
Ecco perché la pianificazione della dimensione del campione per i test A/B funziona meglio quando si utilizzano dati di riferimento recenti piuttosto che stime approssimative.
Una sequenza di pianificazione pratica
Un approccio utile consiste nel definire prima la soglia decisionale, stimare un valore di riferimento realistico, scegliere l'effetto minimo rilevabile e solo successivamente valutare la dimensione del campione. In questo modo, l'esperimento rimane ancorato alla rilevanza aziendale, anziché partire esclusivamente dal traffico dati.
Aiuta inoltre i team a evitare di progettare test tecnicamente validi ma irrealistici dal punto di vista operativo. Se il tempo di esecuzione sarà troppo lungo, di solito è necessario rivedere le ipotesi iniziali prima del lancio.
- Scegli una dimensione dell'effetto che possa effettivamente cambiare una decisione
- Utilizzare i dati di base più recenti relativi alla stessa fase del funnel.
- Verificare i tempi di esecuzione prima di avviare l'esperimento.
- Rivedi il piano invece di avviare un test palesemente insufficiente