A/B概念
A/B 测试计划中的基线转化率
基线转化率是指实验开始前对照组的预期转化率。这一点很重要，因为达到相同的目标转化率提升，所需的样本量会因初始转化率的不同而有所差异。
为什么基线会改变计算
从2%到3%的变化与从20%到21%的变化在本质上是不同的，即使两者在纸面上看起来都很简单。基线水平会影响结果的方差，从而影响所需的样本量。
因此，最新的控制数据比粗略估计更可取。
如何选择基线
最佳基线通常来自同一转化漏斗步骤或实验情境下的近期可比数据。如果季节性因素、流量来源或受众构成发生变化，则旧的基线可能具有误导性。
如果不确定性较高，测试计划人员有时会使用多个合理的基线来计算范围。
应避免什么
避免将理想目标作为基准。基准应反映当前实际情况，而非你希望达到的目标。过于乐观的基准可能会导致错误的流量预估和糟糕的测试计划。
如何保持基线的可靠性
最佳基准数据是来自同一受众群体且处于同一转化漏斗阶段的近期数据，而您计划测试该阶段的数据。如果实验针对的是较小或波动较大的细分群体，则使用全站平均值可能会产生误导。
当不确定性较高时，通常最好使用多个合理的基线来估计一系列样本量。这样可以为团队提供一个规划范围，而不是一种虚假的精确感。
- 优先选择近期控制数据而非历史平均值。
- 将基线与确切的测试受众和指标相匹配。
- 注意季节性或交通结构变化
- 当基线不确定性仍然较高时，请使用范围。