Minsta detekterbara effekt förklarad
Minsta detekterbara effekt, ofta förkortat till MDE, är den minsta höjning eller minskning du vill att ditt experiment ska kunna detektera. Det är en av de starkaste drivkrafterna för A/B-testurvalsstorlek.
Vad MDE egentligen betyder
MDE är inte din förutsägelse av vad som kommer att hända. Det är tröskeln där en skillnad blir tillräckligt viktig för att ha betydelse för ett beslut.
Det gör det till ett planeringsantagande om affärsrelevans, inte bara statistik.
Varför små medelstora företag är dyra
Att upptäcka en liten förändring kräver mycket data eftersom små effekter är svårare att separera från brus. Team väljer ofta orealistiskt små MDE:er och upptäcker sedan att trafikkravet är för högt.
En mer realistisk MDE gör ofta ett test mycket mer genomförbart.
Hur man väljer en
En praktisk MDE bör återspegla vad som skulle förändra ett beslut. Om en ökning på 0,2 procentenheter inte skulle motivera en utrullningsansträngning, kan det finnas lite värde i att utforma experimentet kring att upptäcka den förändringen.
Välj en effektstorlek som är både meningsfull och realistisk för din trafik.
Hur team väljer en realistisk MDE
En realistisk MDE kommer vanligtvis från att kombinera affärspåverkan med trafikverklighet. Om en förändring är för liten för att ha kommersiell betydelse kanske det inte är värt att bygga ett test kring den, även om den är statistiskt intressant.
Det motsatta misstaget är att välja en orealistiskt stor MDE bara för att göra testet kortare. Det kan göra experimentet blint för förbättringar som faktiskt skulle vara värdefulla.
- Koppla MDE till affärspåverkan, inte bara nyfikenhet
- Kontrollera att måleffekten är rimlig för experimentet
- Undvik att krympa MDE tills körtiden blir omöjlig
- Undvik att blåsa upp MDE bara för att tvinga fram ett mindre prov