القوة الإحصائية لاختبارات A/B

إذا كانت قوة الاختبار 80%، فإن اختبارك مصمم للكشف عن التأثير المستهدف في حوالي 80% من الحالات إذا كان هذا التأثير موجودًا بالفعل. انخفاض قوة الاختبار يعني زيادة احتمالية عدم رصد الفروق الحقيقية.

وهذا يجعل الطاقة عنصراً أساسياً في عملية التخطيط بدلاً من كونها تفصيلاً متقدماً.

زيادة القدرة تعني الحاجة إلى حساسية أكبر، وهو ما يتطلب عادةً المزيد من الملاحظات. وتبرز هذه المقايضة بشكل خاص عندما يكون التأثير المتوقع ضئيلاً.

تستخدم العديد من الفرق نسبة 80% كمعيار مشترك لأنها توازن بين الدقة والواقعية.

لا يكون للقوة معنى إلا إذا اقترنت بأقل تأثير قابل للكشف. قد يكون الاختبار ذا قوة عالية للكشف عن تأثير كبير، وقوة منخفضة للكشف عن تأثير صغير.

ولهذا السبب لا ينبغي مناقشة القوة مطلقاً دون تحديد حجم التأثير المستهدف.

تُعدّ القدرة الإحصائية مهمة لأن الاختبار غير الكافي قد ينتهي دون نتيجة ذات دلالة حتى وإن كان هناك تغيير جوهري بالفعل. وهذا غالباً ما يدفع الفرق إلى استنتاج خاطئ بأن الفكرة لم تنجح.

يساعد التفكير في مسألة القوة أيضًا في تحديد التوقعات مع أصحاب المصلحة. قد يكون إجراء اختبار بحركة مرور محدودة أمرًا مجديًا، ولكن ينبغي على الجميع فهم حجم التأثير الذي يمكن لهذا الاختبار رصده بدقة، وما لا يمكنه رصده.