Beispiele für Stichprobengrößen bei A/B-Tests
Beispiele erleichtern die Planung von A/B-Tests, da sie zeigen, wie sich Annahmen auf den Traffic-Bedarf auswirken. Diese Seite konzentriert sich auf Intuition statt auf formale Beweise.
Beispiel: moderate Ausgangslage, moderate Steigerung
Stellen Sie sich eine Seite mit einer Basis-Konversionsrate von 10 % und einem angestrebten Anstieg um 2 Prozentpunkte vor. Ein solches Setup führt oft zu einem überschaubaren, aber dennoch aussagekräftigen Stichprobenbedarf.
Es ist ein gutes Beispiel, weil es in dem Bereich liegt, mit dem viele Wachstums- und Produktteams tatsächlich arbeiten.
Beispiel: kleine Ausgangslage, minimale Steigerung
Stellen Sie sich nun eine Basislinie von 2 % und eine Steigerung um 0,3 Prozentpunkte vor. Die benötigte Stichprobengröße steigt schnell an, da der Effekt gering und die Basislinie relativ niedrig ist.
Aus diesem Grund können sehr kleine Zieleffekte Experimente für wenig frequentierte Erlebnisse unpraktisch machen.
Die praktische Lektion
Beispiele wie diese zeigen, dass die entscheidende Frage nicht nur die Menge des vorhandenen Datenverkehrs ist. Vielmehr geht es darum, ob der relevante Effekt groß genug ist, um ihn innerhalb des realistisch erfassbaren Datenverkehrs nachzuweisen.
Das macht die Stichprobenplanung zu einem strategischen Filter für Experimente.
Wie man aus Beispielen lernt, ohne sie zu kopieren
Beispiele eignen sich besonders gut, um ein intuitives Verständnis für die Wechselwirkungen von Annahmen zu entwickeln. Sie zeigen, wie Basiswert, Effektstärke und Teststärke den Verkehrsbedarf viel stärker beeinflussen können, als man erwartet.
Beispiele sollten jedoch nicht Ihre eigenen Planungseingaben ersetzen. Selbst ein sehr ähnlich aussehender Test kann eine andere Stichprobe erfordern, wenn sich Zielgruppe, Kennzahl oder Ausgangswert anders verhalten.
- Nutzen Sie Beispiele, um die Richtung zu verstehen, nicht um ein Beispielziel zu kopieren.
- Vergleichen Sie Ihre eigene Baseline und MDE mit der Beispielkonfiguration.
- Beispielzahlen sollten eher als Veranschaulichung denn als Vorschrift verstanden werden.
- Führen Sie vor dem Start Ihr eigenes Szenario im Rechner durch.