Uitleg over het minimaal detecteerbare effect
Het minimaal detecteerbare effect, vaak afgekort tot MDE, is de kleinste stijging of daling die je experiment moet kunnen detecteren. Het is een van de belangrijkste factoren voor de steekproefomvang van A/B-testen.
Wat MDE werkelijk betekent
MDE is niet jouw voorspelling van wat er zal gebeuren. Het is de drempelwaarde waarbij een verschil belangrijk genoeg wordt om van belang te zijn voor een beslissing.
Dat maakt het een planningsaanname met betrekking tot de relevantie voor het bedrijf, en niet slechts een statistische analyse.
Waarom kleine MDE's duur zijn
Het detecteren van een minuscule verandering vereist veel data, omdat kleine effecten moeilijker te onderscheiden zijn van ruis. Teams kiezen vaak onrealistisch kleine MDE's (Minimum Detection Effects) en ontdekken dan dat de benodigde dataverkeer te hoog is.
Een realistischer MDE (Model Democracy Environment) maakt een test vaak veel haalbaarder.
Hoe kies je er een?
Een praktische MDE (Minimum Design Experiment) moet weerspiegelen wat een beslissing zou beïnvloeden. Als een verbetering van 0,2 procentpunt de implementatie-inspanning niet rechtvaardigt, heeft het wellicht weinig zin om het experiment zo te ontwerpen dat die verandering wordt gedetecteerd.
Kies een effectgrootte die zowel relevant als realistisch is voor uw bezoekersaantal.
Hoe teams een realistische MDE kiezen
Een realistische MDE (Minimum Data Effect) ontstaat meestal door de impact op het bedrijfsleven te combineren met de verkeersrealiteit. Als een verandering te klein is om commercieel van belang te zijn, is het wellicht niet de moeite waard om er een test omheen te bouwen, zelfs als deze statistisch interessant is.
De tegenovergestelde fout is het kiezen van een onrealistisch grote MDE (Minimum Differential Effect) alleen om de test te verkorten. Dat kan ertoe leiden dat het experiment verbeteringen over het hoofd ziet die in werkelijkheid waardevol zouden zijn.
- Koppel de MDE aan de impact op het bedrijfsleven, niet alleen aan nieuwsgierigheid.
- Controleer of het beoogde effect aannemelijk is voor het experiment.
- Vermijd het verkleinen van de MDE totdat de uitvoeringstijd onmogelijk wordt.
- Vermijd het kunstmatig verhogen van de MDE om een kleinere steekproef te forceren.