A/B概念

最小可检测效应解释

最小可检测效应(Minimum Detectionable Effect,简称MDE)是指实验能够检测到的最小提升或下降幅度。它是决定A/B测试样本量的最重要因素之一。

MDE 的真正含义

MDE并非你对未来结果的预测,而是差异变得足够重要,足以影响决策的阈值。

这使得它成为一项关于业务相关性的规划假设,而不仅仅是统计数据。

为什么小型MDE价格昂贵

检测微小变化需要大量数据,因为微小的影响很难与噪声区分开来。团队常常选择过小的最小可检测变化量 (MDE),然后发现所需的流量过高。

更贴近实际的MDE通常会使测试更具可行性。

如何选择一个

一个切实可行的最小可检测性设计(MDE)应该反映出哪些因素会改变决策。如果0.2个百分点的提升不足以证明推广工作的合理性,那么围绕检测这种变化来设计实验可能意义不大。

选择对您的流量而言既有意义又实际的效果大小。

团队如何选择现实的MDE

实际可行的最小可检测效应 (MDE) 通常需要结合业务影响和实际交通状况。如果一项改动幅度太小,在商业上无关紧要,即使它在统计学上很有意义,也可能不值得围绕它进行测试。

另一种错误是,为了缩短测试时间而选择过大的最小可检测差异(MDE)。这样做可能会使实验忽略一些真正有价值的改进。

  • 将MDE与业务影响联系起来,而不仅仅是与好奇心挂钩。将MDE与业务影响联系起来。
  • 检查目标效应是否在实验中合理。
  • 避免缩小 MDE,直到运行时无法运行为止。
  • 避免为了缩小样本量而人为地增加最小可检测误差(MDE)。

相关页面 最小可检测效应解释

常见问题

我能在这个页面上学到什么?
最小可检测效应(Minimum Detectionable Effect,简称MDE)是指实验能够检测到的最小提升或下降幅度。它是决定A/B测试样本量的最重要因素之一。
这篇 A/B 测试指南适合谁?
这份指南适合产品团队、增长营销人员、分析师以及任何正在规划实验、并希望在效果大小、流量和测试设计方面做出更好决策的人。
读完这个页面后我该做什么?
先用这里的解释选择更现实的假设,然后再前往计算器或相关页面,估算你的实验所需流量。
MDE和我预期看到的提升效果一样吗?
不。MDE 是实验能够可靠检测到的最小效应。你预期的提升幅度可能更大或更小,但 MDE 是一个规划阈值,而不是预测值。
如果我选择的最小可检测量(MDE)太小会发生什么?
所需的样本量可能变得过大,这往往会导致测试耗时过长或无法得出有效结论。制定切合实际的最小可行设计(MDE)方案能使计划更具可操作性。