Potenza statistica per i test A/B
La potenza statistica è la probabilità che il tuo test rilevi un effetto reale dell'entità che ti interessa. In pratica, è uno dei modi più chiari per valutare la probabilità che il tuo esperimento non rilevi qualcosa di importante.
Che cosa significa il potere
Se la potenza statistica è dell'80%, il test è progettato per rilevare l'effetto target circa l'80% delle volte, qualora tale effetto esista realmente. Una potenza inferiore implica una maggiore probabilità di non rilevare differenze reali.
Ciò rende l'alimentazione un elemento fondamentale della pianificazione, piuttosto che un dettaglio avanzato.
Perché una maggiore potenza richiede un campione più ampio
Una maggiore potenza implica una maggiore sensibilità, che di solito richiede un numero maggiore di osservazioni. Questo compromesso diventa particolarmente evidente quando l'effetto atteso è di piccola entità.
Molti team utilizzano l'80% come standard comune perché rappresenta un buon equilibrio tra rigore e praticità.
Come utilizzarlo nella pianificazione
La potenza di un test ha senso solo se associata all'effetto minimo rilevabile. Un test può essere molto potente per rilevare un effetto rilevante e poco potente per rilevarne uno di piccola entità.
Ecco perché non si dovrebbe mai parlare di potenza senza considerare l'entità dell'effetto desiderato.
Come il potere influenza le decisioni negli esperimenti reali
La potenza statistica è importante perché un test con una potenza insufficiente può non produrre risultati significativi anche quando è effettivamente presente un cambiamento rilevante. Questo spesso porta i team a concludere erroneamente che un'idea non ha funzionato.
Riflettere sulla potenza del test aiuta anche a definire le aspettative con le parti interessate. Un test con traffico limitato potrebbe comunque valere la pena di essere eseguito, ma tutti dovrebbero comprendere quale entità di effetto può e non può rilevare in modo affidabile.
- Utilizzare la potenza per valutare il rischio di non rilevare un effetto reale
- Discutete di potere insieme a MDE, mai da soli.
- Spiega il compromesso tra sensibilità e tempo di esecuzione.
- Evitate di interpretare i risultati non significativi come prova di assenza di differenza.