Wie berechnet man die Stichprobengröße für einen A/B-Test?
Bei der Planung der Stichprobengröße für A/B-Tests geht es hauptsächlich darum, festzulegen, welche Veränderung als relevant für die Erkennung angesehen werden soll und wie viel Sicherheit man für den Test anstrebt. Diese Seite erläutert die praktische Logik hinter dieser Berechnung.
Beginnen Sie mit dem Effekt, der zählt.
Die Planung von A/B-Tests beginnt mit dem minimalen nachweisbaren Effekt, nicht mit der Stichprobengröße selbst. Zunächst wird festgelegt, welche Änderung tatsächlich bedeutsam genug wäre, um eine Produkt-, Wachstums- oder Designentscheidung zu beeinflussen.
Winzige Effekte erfordern viel größere Stichproben, um nachgewiesen zu werden.
Mehr Selbstvertrauen und Stärke
Das Konfidenzniveau bestimmt, wie streng Sie zufällige Schwankungen berücksichtigen möchten. Die Teststärke bestimmt, wie wahrscheinlich es ist, einen tatsächlichen Effekt nachzuweisen, falls dieser existiert. Zusammen legen sie die Sensitivität des Tests fest.
Höhere Standards bei beiden Messgrößen erhöhen in der Regel den benötigten Verkehrsaufkommen.
Verwenden Sie eine realistische Ausgangsbasis
Die Basis-Konversionsrate bildet die Grundlage der Berechnung. Eine Seite mit einer Konversionsrate von 2 % verhält sich anders als eine Seite mit einer Konversionsrate von 20 %, selbst wenn die angestrebte Steigerung in absoluten Punkten ähnlich erscheint.
Deshalb funktioniert die Planung der Stichprobengröße bei A/B-Tests am besten, wenn sie auf aktuellen Basisdaten und nicht auf groben Schätzungen beruht.
Eine praktische Planungssequenz
Eine sinnvolle Vorgehensweise ist, zunächst die Entscheidungsschwelle festzulegen, eine realistische Basislinie zu schätzen, den minimalen nachweisbaren Effekt zu wählen und erst dann die Stichprobengröße zu betrachten. Dadurch bleibt das Experiment geschäftsrelevant und konzentriert sich nicht allein auf den Datenverkehr.
Es hilft Teams außerdem, die Entwicklung von Tests zu vermeiden, die zwar technisch korrekt, aber im praktischen Einsatz unrealistisch sind. Falls die Laufzeit zu lang ist, müssen die ursprünglichen Annahmen in der Regel vor dem Start überarbeitet werden.
- Wählen Sie eine Effektstärke, die eine Entscheidung tatsächlich verändern würde.
- Verwenden Sie aktuelle Basisdaten aus demselben Trichterschritt.
- Überprüfen Sie die Laufzeit, bevor Sie das Experiment starten.
- Überarbeiten Sie den Plan, anstatt einen offensichtlich unterdimensionierten Test durchzuführen.