示例
A/B 测试样本量示例
示例能简化 A/B 测试的规划,因为它们展示了假设如何改变流量需求。本页侧重于直觉而非形式化证明。
例如:适度的基线,适度的提升
假设一个页面的基础转化率为 10%,目标提升幅度为 2 个百分点。这样的设置通常能产生一个既易于管理又有意义的样本需求量。
这是一个很好的例子,因为它属于许多增长和产品团队实际工作的范畴。
例如:基线较小,提升幅度很小
现在假设基线水平为 2%,提升幅度为 0.3 个百分点。由于提升幅度较小且基线水平相对较低,所需的样本量会迅速增加。
这就是为什么对于低流量体验而言,目标效应非常小会导致实验不切实际的原因。
实践课
这些例子表明,关键问题不仅仅在于流量有多大,而在于你所关注的影响是否足够大,能够在你实际能够收集到的流量范围内被检测到。
正因如此,样本量规划才成为实验的战略筛选工具。
如何从例子中学习而不抄袭它们
例子对于建立对假设之间相互作用的直觉最为有用。它们表明,基线、效应量和统计功效如何影响交通需求,其影响程度远超人们的预期。
但示例不应取代您自己的规划投入。即使看起来非常相似的测试,如果受众、指标或基准线有所不同,也可能需要不同的样本。
- 使用示例来理解方向,而不是复制示例目标。
- 将您自己的基线和 MDE 与示例设置进行比较
- 将示例数字视为说明性而非规定性依据。
- 启动前,请在计算器中运行您自己的场景。