ए/बी टेस्ट के सैंपल साइज को कौन से कारक प्रभावित करते हैं?
ए/बी टेस्ट के सैंपल का आकार मुख्य रूप से चार विकल्पों पर निर्भर करता है: आपका आत्मविश्वास स्तर, आपकी लक्षित शक्ति, आपकी आधारभूत रूपांतरण दर और न्यूनतम पता लगाने योग्य प्रभाव जिसकी आपको परवाह है।
कम अपेक्षित वृद्धि के लिए अधिक ट्रैफ़िक की आवश्यकता होती है, जबकि अधिक अपेक्षित वृद्धि के लिए कम ट्रैफ़िक की आवश्यकता होती है। कम आधारभूत रूपांतरण दर से भी आवश्यक नमूने की मात्रा बढ़ने की संभावना होती है।
यह क्यों मायने रखता है
बहुत कम डेटा के साथ प्रयोग करने से वास्तविक अंतरों को नज़रअंदाज़ करना या यादृच्छिक शोर पर ज़रूरत से ज़्यादा प्रतिक्रिया देना आसान हो जाता है। नमूने के आकार की पहले से योजना बनाने से अस्थिर परिणामों के आधार पर प्रयोग को जल्दी रोकने की प्रवृत्ति कम हो जाती है।
यह पेज आपको प्रत्येक वेरिएंट के लिए एक व्यावहारिक लक्ष्य देता है ताकि आप लॉन्च से पहले यह तय कर सकें कि कोई परीक्षण यथार्थवादी है या नहीं।
- लॉन्च से पहले ट्रैफ़िक की ज़रूरतों का अनुमान लगाएं
- यथार्थवादी परीक्षण अवधि निर्धारित करें
- कमज़ोर प्रयोगों से बचें
- टीमों को इस बात पर एकमत करें कि सार्थक सुधार किसे माना जाए।
परिणाम का उपयोग कैसे करें
प्रत्येक वेरिएंट के लिए अलग-अलग परिणाम यह बताते हैं कि प्रत्येक वेरिएंट को लगभग कितने ऑब्ज़र्वेशन मिलने चाहिए। कुल सैंपल साइज़ दोनों वेरिएंट के संयुक्त ट्रैफ़िक के बराबर होता है।
यदि उपलब्ध ट्रैफ़िक के लिए परिणाम बहुत बड़ा प्रतीत होता है, तो अगला सामान्य चरण न्यूनतम पता लगाने योग्य प्रभाव पर पुनर्विचार करना होता है, न कि कम डेटा के साथ उसी परीक्षण को चलाना।
परिणाम को परीक्षण योजना में कैसे परिवर्तित करें
एक बार जब आपके पास प्रत्येक वेरिएंट के लिए सैंपल टारगेट हो जाए, तो प्रयोग को कितने समय तक चलाने की आवश्यकता होगी, इसका अनुमान लगाने के लिए इसकी तुलना साप्ताहिक ट्रैफ़िक से करें। इससे आपको डिज़ाइन और इंजीनियरिंग कार्य शुरू करने से पहले यह तय करने में मदद मिलेगी कि परीक्षण व्यावहारिक है या नहीं।
प्रयोग की गुणवत्ता में नमूने का आकार केवल एक पहलू है। सटीक ट्रैकिंग, स्थिर आधार रेखा और स्पष्ट रोक नियम अभी भी महत्वपूर्ण हैं क्योंकि एक बड़ा नमूना भी खराब तरीके से किए गए परीक्षण को नहीं सुधार सकता।
- अवधि का अनुमान कुल साइट ट्रैफ़िक के आधार पर नहीं, बल्कि प्रति-वेरिएंट ट्रैफ़िक के आधार पर लगाएं।
- लॉन्च से पहले न्यूनतम पता लगाने योग्य प्रभाव का चयन करें
- रन के दौरान आवंटन और ट्रैकिंग को स्थिर रखें
- जब परिणाम अस्थायी रूप से आशाजनक दिखें तो बीच में ही रुकने से बचें।