示例

A/B 测试样本量示例

示例能简化 A/B 测试的规划,因为它们展示了假设如何改变流量需求。本页侧重于直觉而非形式化证明。

例如:适度的基线,适度的提升

假设一个页面的基础转化率为 10%,目标提升幅度为 2 个百分点。这样的设置通常能产生一个既易于管理又有意义的样本需求量。

这是一个很好的例子,因为它属于许多增长和产品团队实际工作的范畴。

例如:基线较小,提升幅度很小

现在假设基线水平为 2%,提升幅度为 0.3 个百分点。由于提升幅度较小且基线水平相对较低,所需的样本量会迅速增加。

这就是为什么对于低流量体验而言,目标效应非常小会导致实验不切实际的原因。

实践课

这些例子表明,关键问题不仅仅在于流量有多大,而在于你所关注的影响是否足够大,能够在你实际能够收集到的流量范围内被检测到。

正因如此,样本量规划才成为实验的战略筛选工具。

如何从例子中学习而不抄袭它们

例子对于建立对假设之间相互作用的直觉最为有用。它们表明,基线、效应量和统计功效如何影响交通需求,其影响程度远超人们的预期。

但示例不应取代您自己的规划投入。即使看起来非常相似的测试,如果受众、指标或基准线有所不同,也可能需要不同的样本。

  • 使用示例来理解方向,而不是复制示例目标。
  • 将您自己的基线和 MDE 与示例设置进行比较
  • 将示例数字视为说明性而非规定性依据。
  • 启动前,请在计算器中运行您自己的场景。

相关页面 A/B 测试样本量示例

常见问题

我能在这个页面上学到什么?
示例能简化 A/B 测试的规划,因为它们展示了假设如何改变流量需求。本页侧重于直觉而非形式化证明。
这篇 A/B 测试指南适合谁?
这份指南适合产品团队、增长营销人员、分析师以及任何正在规划实验、并希望在效果大小、流量和测试设计方面做出更好决策的人。
读完这个页面后我该做什么?
先用这里的解释选择更现实的假设,然后再前往计算器或相关页面,估算你的实验所需流量。
如果示例与我的测试不完全匹配,那么示例还有什么用?
它们能帮助你建立对基线、MDE 和功率如何影响流量需求的直觉。这能让你更容易发现自己的测试假设是保守的、激进的还是不切实际的。
我应该将示例与我自己的测试进行比较什么?
比较基准转化率、目标提升幅度、置信度和功率设置以及可用流量。这些因素通常比实验间的表面相似性重要得多。