הסבר על ההשפעה המינימלית הניתנת לגילוי
אפקט מינימלי לגילוי, שלעתים קרובות מקוצר ל-MDE, הוא העלייה או הירידה הקטנים ביותר שברצונך שהניסוי שלך יוכל לזהות. זהו אחד הגורמים החזקים ביותר לגודל מדגם של בדיקות A/B.
מה באמת משמעות MDE
MDE אינו התחזית שלך למה שיקרה. זהו הסף שבו הבדל הופך להיות חשוב מספיק כדי שיהיה משמעותי לצורך קבלת החלטה.
זה הופך את זה להנחה תכנונית לגבי רלוונטיות עסקית, לא רק סטטיסטיקה.
למה MDEs קטנים יקרים
זיהוי שינוי זעיר דורש הרבה נתונים מכיוון שקשה יותר להפריד בין השפעות קטנות לרעש. צוותים בוחרים לעתים קרובות ערכי MDE קטנים באופן לא מציאותי ואז מגלים שדרישת התעבורה גבוהה מדי.
MDE מציאותי יותר הופך את הבדיקה לעיתים קרובות להרבה יותר ברת ביצוע.
איך לבחור אחד
MDE מעשי צריך לשקף מה ישנה החלטה. אם עלייה של 0.2 נקודות אחוז לא תצדיק מאמץ פריסה, ייתכן שיהיה ערך מועט בתכנון הניסוי סביב גילוי שינוי זה.
בחרו גודל אפקט שהוא גם משמעותי וגם ריאלי עבור התנועה שלכם.
כיצד צוותים בוחרים MDE ריאלי
MDE ריאלי נובע בדרך כלל משילוב של השפעה עסקית עם מציאות התנועה. אם שינוי קטן מדי מכדי שיהיה משמעותי מבחינה מסחרית, ייתכן שלא כדאי לבנות סביבו מבחן גם אם הוא מעניין סטטיסטית.
הטעות ההפוכה היא בחירת MDE גדול באופן לא מציאותי רק כדי לקצר את המבחן. זה יכול לגרום לניסוי להיות עיוור לשיפורים שבאמת יהיו בעלי ערך.
- קשרו את ה-MDE להשפעה עסקית, לא רק לסקרנות
- בדוק שהאפקט המטרה סביר לניסוי
- הימנעו מכיווץ ה-MDE עד שזמן הריצה יהפוך לבלתי אפשרי
- הימנעו מניפוח ה-MDE רק כדי לאלץ דגימה קטנה יותר