Efeito mínimo detectável explicado
O efeito mínimo detectável, frequentemente abreviado para MDE, é a menor variação (aumento ou queda) que você deseja que seu experimento seja capaz de detectar. É um dos principais fatores que influenciam o tamanho da amostra em testes A/B.
O que significa realmente o MDE
O MDE não é uma previsão do que vai acontecer. É o limiar a partir do qual uma diferença se torna importante o suficiente para influenciar uma decisão.
Isso faz com que seja uma suposição de planejamento sobre a relevância para os negócios, e não apenas uma estatística.
Por que os pequenos MDEs são caros
Detectar uma pequena mudança exige muitos dados, pois pequenos efeitos são mais difíceis de separar do ruído. As equipes frequentemente escolhem MDEs (Efeitos Mínimos de Detecção) irrealisticamente pequenos e depois descobrem que a necessidade de tráfego é muito alta.
Um modelo de EDM (Evento Democrático do Realista) mais realista geralmente torna o teste muito mais viável.
Como escolher um
Um experimento de decisão de curto prazo (MDE) prático deve refletir o que influenciaria uma decisão. Se um aumento de 0,2 ponto percentual não justificasse o esforço de implementação, talvez não houvesse muita vantagem em projetar o experimento em torno da detecção dessa mudança.
Escolha um tamanho de efeito que seja significativo e realista para o seu tráfego.
Como as equipes escolhem um MDE realista
Um MDE realista geralmente resulta da combinação do impacto nos negócios com a realidade do tráfego. Se uma mudança for pequena demais para ter impacto comercial, pode não valer a pena desenvolver um teste em torno dela, mesmo que seja estatisticamente interessante.
O erro oposto é escolher um MDE (desfecho mínimo experimental) irrealisticamente grande apenas para encurtar o teste. Isso pode impedir que o experimento detecte melhorias que seriam realmente valiosas.
- Vincule o MDE ao impacto nos negócios, não apenas à curiosidade.
- Verifique se o efeito desejado é plausível para o experimento.
- Evite reduzir o tamanho do MDE até que o tempo de execução se torne impossível.
- Evite inflar o MDE apenas para forçar uma amostra menor.