ए/बी टेस्ट के सैंपल साइज की गणना कैसे करें

ए/बी टेस्ट की योजना न्यूनतम संभावित प्रभाव (minimum detectable effect) से शुरू होती है, न कि सैंपल साइज़ से। सबसे पहले, यह तय करें कि कौन सा बदलाव वास्तव में किसी उत्पाद, विकास या डिज़ाइन संबंधी निर्णय को प्रभावित करने के लिए पर्याप्त रूप से महत्वपूर्ण होगा।

सूक्ष्म प्रभावों का पता लगाने के लिए बहुत बड़े नमूनों की आवश्यकता होती है।

कॉन्फिडेंस लेवल यह नियंत्रित करता है कि आप यादृच्छिक भिन्नता के प्रति कितने सख्त रहना चाहते हैं। पावर यह नियंत्रित करती है कि यदि कोई वास्तविक प्रभाव मौजूद है, तो उसे पहचानने की कितनी संभावना है। ये दोनों मिलकर परीक्षण की संवेदनशीलता निर्धारित करते हैं।

इन दोनों ही मापदंडों पर उच्च मानक आमतौर पर आवश्यक यातायात को बढ़ाते हैं।

आधारभूत रूपांतरण दर गणना का आधार है। एक पृष्ठ जो पहले से ही 2% रूपांतरण दर पर है, वह उस पृष्ठ से अलग व्यवहार करता है जो 20% रूपांतरण दर पर है, भले ही लक्ष्य वृद्धि निरपेक्ष अंकों में समान दिखती हो।

इसीलिए ए/बी टेस्ट के लिए सैंपल साइज की योजना बनाते समय सबसे अच्छा तरीका यह है कि इसमें अनुमानों के बजाय हालिया आधारभूत डेटा का उपयोग किया जाए।

एक उपयोगी प्रक्रिया यह है कि पहले निर्णय सीमा निर्धारित की जाए, एक यथार्थवादी आधार रेखा का अनुमान लगाया जाए, न्यूनतम पता लगाने योग्य प्रभाव का चयन किया जाए, और उसके बाद ही नमूने के आकार पर विचार किया जाए। इससे प्रयोग केवल ट्रैफ़िक से शुरू होने के बजाय व्यावसायिक प्रासंगिकता पर केंद्रित रहता है।

यह टीमों को ऐसे परीक्षण तैयार करने से बचने में भी मदद करता है जो तकनीकी रूप से तो मान्य हों लेकिन संचालन की दृष्टि से अव्यावहारिक हों। यदि परीक्षण का समय बहुत लंबा होगा, तो लॉन्च से पहले की गई धारणाओं में संशोधन की आवश्यकता होती है।