A/B概念
最小可检测效应解释
最小可检测效应(Minimum Detectionable Effect,简称MDE)是指实验能够检测到的最小提升或下降幅度。它是决定A/B测试样本量的最重要因素之一。
MDE 的真正含义
MDE并非你对未来结果的预测,而是差异变得足够重要,足以影响决策的阈值。
这使得它成为一项关于业务相关性的规划假设,而不仅仅是统计数据。
为什么小型MDE价格昂贵
检测微小变化需要大量数据,因为微小的影响很难与噪声区分开来。团队常常选择过小的最小可检测变化量 (MDE),然后发现所需的流量过高。
更贴近实际的MDE通常会使测试更具可行性。
如何选择一个
一个切实可行的最小可检测性设计(MDE)应该反映出哪些因素会改变决策。如果0.2个百分点的提升不足以证明推广工作的合理性,那么围绕检测这种变化来设计实验可能意义不大。
选择对您的流量而言既有意义又实际的效果大小。
团队如何选择现实的MDE
实际可行的最小可检测效应 (MDE) 通常需要结合业务影响和实际交通状况。如果一项改动幅度太小,在商业上无关紧要,即使它在统计学上很有意义,也可能不值得围绕它进行测试。
另一种错误是,为了缩短测试时间而选择过大的最小可检测差异(MDE)。这样做可能会使实验忽略一些真正有价值的改进。
- 将MDE与业务影响联系起来,而不仅仅是与好奇心挂钩。将MDE与业务影响联系起来。
- 检查目标效应是否在实验中合理。
- 避免缩小 MDE,直到运行时无法运行为止。
- 避免为了缩小样本量而人为地增加最小可检测误差(MDE)。