Basiskonversionsrate in der A/B-Testplanung
Die Basiskonversionsrate ist die erwartete Konversionsrate der Kontrollgruppe vor Beginn des Experiments. Sie ist wichtig, da für die gleiche Zielsteigerung je nach Ausgangswert unterschiedliche Stichprobengrößen erforderlich sein können.
Warum ändert die Basislinie die Berechnung?
Eine Änderung von 2 % auf 3 % verhält sich anders als eine Änderung von 20 % auf 21 %, auch wenn beides auf dem Papier einfach erscheinen mag. Die Ausgangswerte prägen die Varianz des Ergebnisses und beeinflussen somit den erforderlichen Stichprobenumfang.
Deshalb sind aktuelle Kontrolldaten einer groben Schätzung vorzuziehen.
Wie man eine Basislinie auswählt
Die beste Vergleichsbasis bilden in der Regel aktuelle, vergleichbare Daten aus demselben Funnel-Schritt oder Experimentkontext. Wenn sich Saisonalität, Traffic-Quelle oder Zielgruppenzusammensetzung geändert haben, können ältere Vergleichswerte irreführend sein.
Bei hoher Unsicherheit berechnen Testplaner manchmal einen Bereich unter Verwendung mehrerer plausibler Basiswerte.
Was man vermeiden sollte
Vermeiden Sie es, ambitionierte Ziele als Ausgangspunkt zu verwenden. Der Ausgangspunkt sollte die aktuelle Realität widerspiegeln, nicht das, was Sie erreichen möchten. Optimistische Ausgangspunkte können zu irreführenden Verkehrsprognosen und einer mangelhaften Testplanung führen.
Wie man die Vertrauenswürdigkeit der Basisdaten aufrechterhält
Die beste Vergleichsbasis sind aktuelle Daten derselben Zielgruppe und desselben Schritts im Verkaufstrichter, den Sie testen möchten. Ein allgemeiner, websiteübergreifender Durchschnittswert kann irreführend sein, wenn das Experiment mit einem engeren oder volatileren Segment durchgeführt wird.
Bei hoher Unsicherheit ist es oft besser, einen Bereich von Stichprobengrößen anhand mehrerer plausibler Basiswerte zu schätzen. Dadurch erhält das Team einen Planungsspielraum anstelle eines trügerischen Gefühls von Präzision.
- Aktuelle Kontrolldaten sind historischen Durchschnittswerten vorzuziehen.
- Passen Sie die Basislinie exakt an die Zielgruppe und die Messgröße des Tests an.
- Achten Sie auf saisonale Schwankungen oder Änderungen der Verkehrszusammensetzung.
- Verwenden Sie einen Bereich, wenn die Basisunsicherheit noch hoch ist.