Erklärung der minimalen nachweisbaren Wirkung
Der minimal nachweisbare Effekt (MDE) ist die kleinste Veränderung, die Ihr Experiment erfassen soll. Er ist einer der wichtigsten Faktoren für die Wahl der Stichprobengröße bei A/B-Tests.
Was MDE wirklich bedeutet
MDE ist nicht Ihre Vorhersage dessen, was passieren wird. Es ist die Schwelle, ab der ein Unterschied so wichtig wird, dass er für eine Entscheidung relevant ist.
Damit wird es zu einer Planungsannahme über die Relevanz für das Unternehmen, nicht nur zu einer statistischen.
Warum kleine MDEs teuer sind
Die Erkennung kleinster Änderungen erfordert große Datenmengen, da sich geringe Effekte nur schwer vom Rauschen unterscheiden lassen. Teams wählen oft unrealistisch kleine minimale Effekte (MDEs) und stellen dann fest, dass der Datenverkehr zu stark beansprucht wird.
Eine realistischere MDE macht einen Test oft viel besser durchführbar.
Wie man das richtige auswählt
Ein praxisorientierter MDE sollte widerspiegeln, was eine Entscheidung beeinflussen würde. Wenn eine Steigerung um 0,2 Prozentpunkte den Rollout-Aufwand nicht rechtfertigen würde, ist es möglicherweise wenig sinnvoll, das Experiment auf die Erkennung dieser Veränderung auszurichten.
Wählen Sie eine Effektstärke, die für Ihren Traffic sowohl aussagekräftig als auch realistisch ist.
Wie Teams eine realistische MDE auswählen
Ein realistischer MDE (Minimum Development Effect) ergibt sich üblicherweise aus der Kombination von Geschäftsauswirkungen und realen Verkehrsverhältnissen. Ist eine Änderung zu geringfügig, um wirtschaftlich relevant zu sein, lohnt sich ein Test möglicherweise nicht, selbst wenn er statistisch interessant ist.
Der gegenteilige Fehler besteht darin, ein unrealistisch großes MDE zu wählen, nur um den Test zu verkürzen. Dadurch können Verbesserungen, die tatsächlich wertvoll wären, im Experiment nicht erkannt werden.
- Verknüpfen Sie die MDE mit geschäftlichen Auswirkungen, nicht nur mit Neugier.
- Prüfen Sie, ob der angestrebte Effekt für das Experiment plausibel ist.
- Vermeiden Sie es, die MDE so weit zu verkleinern, dass die Laufzeit unmöglich wird.
- Vermeiden Sie es, den MDE unnötig aufzublähen, nur um eine kleinere Stichprobe zu erzwingen.