प्रयोग र फ्ल्याग

1. यसले दिने उत्तर

प्रयोग उपकरणले संस्करण B मा कन्भर्जन 12 % कम छ बताउँछ। यसले किन बताउँदैन र समस्या भोगेको एकल व्यक्ति देखाउन सक्दैन।

सेतुले चलिरहेको उपकरणबाट तोकिएको संस्करण पढेर MousePlayer सत्रमा जोड्छ। त्यसपछि “संस्करण B देखेर आक्रोशपूर्ण क्लिक गरेका सत्र” अनुसन्धान परियोजना होइन, साधारण फिल्टर हो।

2. उपकरण र साझा नियम

छ A/B उपकरण र पाँच फ्ल्याग प्रदायक, सबै ब्राउजरमा आफ्नै सार्वजनिक API बाट पढिन्छन्।

प्रकार	उपकरण
A/B र प्रयोग	Optimizely, VWO, AB Tasty, Kameleoon, Google Optimize का उत्तराधिकारी, Convert
फिचर फ्ल्याग	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

वास्तवमा तोकिएको मात्र

VWO स्पष्ट उदाहरण हो: अभियानको स्थिति यो भए मात्र लिन्छौँ: RUNNING र आगन्तुकलाई साँच्चै संयोजन तोकिएको हुनुपर्छ। परिभाषा मात्र भएको अभियानले हेरिरहेको व्यक्तिबारे केही बताउँदैन; सत्रमा लेख्दा पछिका सबै फिल्टर गलत हुन्थे।

केही उत्तर ढिलो आउँछन्

ConfigCat असिङ्क्रोनस छ; Snowplow ले callback दिन्छ। मान कुर्नुको सट्टा बफरमा राखेर अर्को जाँचमा लिइन्छ — संस्करणको नाम कुर्दै पृष्ठ रोक्ने सेतु फाइदाभन्दा महँगो हुन्छ।

3. पृष्ठमा कति भार पर्छ

मापनयोग्य केही छैन। हाम्रो नेटवर्क अनुरोध वा थप स्क्रिप्ट छैन र बन्द हुँदा कुनै काम हुँदैन।

इम्बेड गरेको उपकरणले पढे पनि नपढे पनि आफ्नै काम गर्छ। जवाफ आउन्जेल वा बीस प्रयास पूरा हुँदासम्म केही पटक एउटा पढाइ थपिन्छ।

बीस प्रयास किन, अनन्त किन होइन

उपकरण प्रायः हामीपछि लोड हुन्छन्। एउटै पढाइले धेरै तोकिएका संस्करण छुटाउँथ्यो; अनन्त जाँचले नआउने मानका लागि हरेक पृष्ठमा timer चलाउँथ्यो। आधा सेकेन्डको अन्तरमा बीस प्रयास सन्तुलन हो, सहमति एडाप्टरमा पनि उही कारणले उस्तै छ।

4. कहाँ उपयोगी हुन्छ

• कारण थाहा नभई खराब नतिजा दिने संस्करण। त्यो संस्करण फिल्टर गरेर आक्रोशपूर्ण क्लिकअनुसार क्रमबद्ध गरी तीन सत्र हेर्नुहोस्। प्रायः पहिलोमै कारण देखिन्छ।
• 5 % प्रयोगकर्तामा लागू गरेको फ्ल्याग। तिनै पाँच प्रतिशतका सत्र हेर्न चाहनुहुन्छ र यो सेतुबिना खोज्ने आधार हुँदैन।
• फरक नदेखिने परीक्षण। कहिलेकाहीँ दुवै संस्करण उही ठाउँमा उति नै खराब हुन्छन्, तर उपकरणले कुल मात्र तुलना गर्ने भएकाले बताउन सक्दैन।