כיצד לחשב את גודל מדגם בדיקת A/B

תכנון בדיקות A/B מתחיל באפקט המינימלי הניתן לזיהוי, ולא בגודל המדגם עצמו. ראשית מחליטים איזה שינוי יהיה משמעותי מספיק כדי להשפיע על החלטת מוצר, צמיחה או עיצוב.

אפקטים זעירים דורשים דגימות גדולות בהרבה כדי לזהות.

רמת הביטחון קובעת עד כמה ברצונך להיות קפדן לגבי שינויים אקראיים. עוצמה קובעת את הסבירות שתזהה השפעה אמיתית אם היא קיימת. יחד, הם קובעים את רגישות הבדיקה.

סטנדרטים גבוהים יותר בכל אחד מהמדדים בדרך כלל מגדילים את התנועה הנדרשת.

שיעור ההמרה הבסיסי הוא הבסיס לחישוב. דף שכבר ממיר ב-2% מתנהג אחרת מדף שממיר ב-20%, גם כאשר עלייה ביעד נראית דומה בנקודות מוחלטות.

זו הסיבה שתכנון גודל מדגם של בדיקות A/B עובד בצורה הטובה ביותר כאשר הוא משתמש בנתוני בסיס עדכניים ולא בניחושים גסים.

סדר שימושי הוא להגדיר תחילה את סף ההחלטה, להעריך קו בסיס ריאלי, לבחור את ההשפעה המינימלית הניתנת לזיהוי, ורק לאחר מכן לבחון את גודל המדגם. זה שומר על הניסוי מבוסס על רלוונטיות עסקית במקום להתחיל בתנועה בלבד.

זה גם עוזר לצוותים להימנע מתכנון בדיקות שהן תקפות מבחינה טכנית אך לא מציאותיות מבחינה תפעולית. אם זמן הריצה יהיה ארוך מדי, בדרך כלל יש צורך לשנות את ההנחות הקודמות לפני ההשקה.