שיעור המרה בסיסי בתכנון בדיקות A/B

שינוי מ-2% ל-3% מתנהג אחרת משינוי מ-20% ל-21%, למרות ששניהם עשויים להיראות פשוטים על הנייר. קו הבסיס מעצב את השונות בתוצאה ולכן משפיע על גודל המדגם הנדרש.

זו הסיבה שנתוני בקרה עדכניים עדיפים על פני ניחוש גס.

קו הבסיס הטוב ביותר מגיע בדרך כלל מנתונים עדכניים וניתנים להשוואה מאותו שלב במשפך או בהקשר של ניסוי. אם העונתיות, מקור התנועה או תמהיל הקהל השתנו, ערכי בסיס ישנים יותר עשויים להיות מטעים.

אם אי הוודאות גבוהה, מתכנני הבדיקות מחשבים לפעמים טווח באמצעות יותר מנקודת בסיס סבירה אחת.

הימנעו משימוש ביעדים שאפתניים כקו בסיס. קו הבסיס צריך לשקף את המציאות הנוכחית, ולא את מה שאתם מקווים להגיע אליו. קו בסיס אופטימי יכול לייצר הערכות תנועה מטעות ותכנון בדיקות לקוי.

קו הבסיס הטוב ביותר הוא נתונים עדכניים מאותו קהל ומאותו שלב במשפך שאתם מתכננים לבדוק. ממוצע רחב של האתר יכול להיות מטעה אם הניסוי יפעל על פלח צר או תנודתי יותר.

כאשר אי הוודאות גבוהה, לעתים קרובות עדיף להעריך טווח של גודלי מדגם באמצעות יותר מנקודת בסיס אחת סבירה. זה נותן לצוות טווח תכנון במקום תחושה כוזבת של דיוק.