קונספט A/B

הסבר על ההשפעה המינימלית הניתנת לגילוי

אפקט מינימלי לגילוי, שלעתים קרובות מקוצר ל-MDE, הוא העלייה או הירידה הקטנים ביותר שברצונך שהניסוי שלך יוכל לזהות. זהו אחד הגורמים החזקים ביותר לגודל מדגם של בדיקות A/B.

מה באמת משמעות MDE

MDE אינו התחזית שלך למה שיקרה. זהו הסף שבו הבדל הופך להיות חשוב מספיק כדי שיהיה משמעותי לצורך קבלת החלטה.

זה הופך את זה להנחה תכנונית לגבי רלוונטיות עסקית, לא רק סטטיסטיקה.

למה MDEs קטנים יקרים

זיהוי שינוי זעיר דורש הרבה נתונים מכיוון שקשה יותר להפריד בין השפעות קטנות לרעש. צוותים בוחרים לעתים קרובות ערכי MDE קטנים באופן לא מציאותי ואז מגלים שדרישת התעבורה גבוהה מדי.

MDE מציאותי יותר הופך את הבדיקה לעיתים קרובות להרבה יותר ברת ביצוע.

איך לבחור אחד

MDE מעשי צריך לשקף מה ישנה החלטה. אם עלייה של 0.2 נקודות אחוז לא תצדיק מאמץ פריסה, ייתכן שיהיה ערך מועט בתכנון הניסוי סביב גילוי שינוי זה.

בחרו גודל אפקט שהוא גם משמעותי וגם ריאלי עבור התנועה שלכם.

כיצד צוותים בוחרים MDE ריאלי

MDE ריאלי נובע בדרך כלל משילוב של השפעה עסקית עם מציאות התנועה. אם שינוי קטן מדי מכדי שיהיה משמעותי מבחינה מסחרית, ייתכן שלא כדאי לבנות סביבו מבחן גם אם הוא מעניין סטטיסטית.

הטעות ההפוכה היא בחירת MDE גדול באופן לא מציאותי רק כדי לקצר את המבחן. זה יכול לגרום לניסוי להיות עיוור לשיפורים שבאמת יהיו בעלי ערך.

  • קשרו את ה-MDE להשפעה עסקית, לא רק לסקרנות
  • בדוק שהאפקט המטרה סביר לניסוי
  • הימנעו מכיווץ ה-MDE עד שזמן הריצה יהפוך לבלתי אפשרי
  • הימנעו מניפוח ה-MDE רק כדי לאלץ דגימה קטנה יותר

עמודים קשורים עבור הסבר על ההשפעה המינימלית הניתנת לגילוי

שאלות נפוצות

מה אלמד בדף הזה?
אפקט מינימלי לגילוי, שלעתים קרובות מקוצר ל-MDE, הוא העלייה או הירידה הקטנים ביותר שברצונך שהניסוי שלך יוכל לזהות. זהו אחד הגורמים החזקים ביותר לגודל מדגם של בדיקות A/B.
למי מיועד מדריך בדיקות ה-A/B הזה?
המדריך הזה מיועד לצוותי מוצר, משווקי צמיחה, אנליסטים ולכל מי שמתכנן ניסויים ורוצה לקבל החלטות טובות יותר לגבי גודל אפקט, תנועה ותכנון הבדיקה.
מה כדאי לעשות אחרי שקוראים את הדף הזה?
השתמשו בהסבר כאן כדי לבחור הנחות מציאותיות, ואז עברו למחשבון או לעמודים הקשורים כדי להעריך את התנועה שהניסוי שלכם דורש.
האם MDE זהה למעלית שאני מצפה לראות?
לא. MDE הוא ההשפעה הקטנה ביותר שאתה רוצה שהניסוי יוכל לזהות באופן מהימן. העלייה הצפויה שלך עשויה להיות גדולה יותר או קטנה יותר, אבל MDE הוא סף תכנון, לא תחזית.
מה קורה אם אני בוחר MDE קטן מדי?
המדגם הנדרש יכול להפוך לגדול באופן בלתי מעשי, מה שמוביל לעתים קרובות לבדיקות שנמשכות זמן רב מדי או שלעולם לא מגיעות למסקנה מועילה. MDE ריאלי הופך את התוכנית לניתנת ליישום יותר.