كيفية حساب حجم عينة اختبار A/B

تبدأ عملية تخطيط اختبار A/B بالحد الأدنى للتأثير القابل للكشف، وليس بحجم العينة بحد ذاته. عليك أولاً تحديد التغيير الذي سيكون ذا مغزى كافٍ للتأثير على قرار يتعلق بالمنتج أو النمو أو التصميم.

تتطلب التأثيرات الطفيفة عينات أكبر بكثير لاكتشافها.

يتحكم مستوى الثقة في مدى دقة التحقق من التباين العشوائي. وتتحكم القدرة الإحصائية في مدى احتمالية اكتشاف تأثير حقيقي إن وُجد. ويحدد هذان العاملان معًا حساسية الاختبار.

عادة ما تؤدي المعايير الأعلى في أي من المقياسين إلى زيادة حركة المرور المطلوبة.

يعتمد الحساب على معدل التحويل الأساسي. فالصفحة التي تحقق معدل تحويل بنسبة 2% تتصرف بشكل مختلف عن الصفحة التي تحقق معدل تحويل بنسبة 20%، حتى وإن بدا التحسن المستهدف متشابهاً من حيث النقاط المطلقة.

ولهذا السبب، فإن تخطيط حجم عينة اختبار A/B يكون أكثر فعالية عندما يستخدم بيانات أساسية حديثة بدلاً من التخمينات التقريبية.

من المفيد تحديد عتبة القرار أولاً، ثم تقدير خط أساس واقعي، واختيار الحد الأدنى للتأثير القابل للكشف، وبعد ذلك فقط يتم النظر في حجم العينة. هذا يضمن أن تكون التجربة مرتبطة بالجدوى التجارية بدلاً من البدء بحركة المرور فقط.

كما يساعد ذلك الفرق على تجنب تصميم اختبارات صحيحة تقنياً ولكنها غير واقعية عملياً. فإذا كان وقت التشغيل طويلاً جداً، فعادةً ما تحتاج الافتراضات السابقة إلى مراجعة قبل الإطلاق.