പരീക്ഷണങ്ങളും ഫ്ലാഗുകളും

1. ഉത്തരം നൽകുന്ന ചോദ്യം

പരീക്ഷണ ഉപകരണം പതിപ്പ് B-യുടെ കൺവേർഷൻ 12 % മോശമാണെന്ന് പറയുന്നു. പറയാത്തത് എന്തുകൊണ്ടെന്ന്; അതുമായി ബുദ്ധിമുട്ടുന്ന ഒറ്റ വ്യക്തിയെപ്പോലും കാണിക്കാനാകില്ല.

കഴിയുന്നത്ര ചെലവുകുറഞ്ഞ രീതിയിൽ ബ്രിഡ്ജ് ഈ വിടവ് അടയ്ക്കുന്നു: ഇതിനകം പ്രവർത്തിക്കുന്ന ഉപകരണത്തിൽനിന്ന് പതിപ്പ് നൽകിയത് വായിച്ച് MousePlayer സെഷനിൽ ചേർക്കുന്നു. തുടർന്ന് “പതിപ്പ് B കണ്ട് രോഷക്ലിക്ക് ചെയ്ത സെഷനുകൾ കാണിക്കുക” എന്നത് ഗവേഷണ പ്രോജക്റ്റല്ല, ഫിൽട്ടറാണ്.

2. ഉപകരണങ്ങളും പങ്കിടുന്ന ഒറ്റ നിയമവും

ആറ് A/B ഉപകരണങ്ങളും അഞ്ച് ഫ്ലാഗ് ദാതാക്കളും; എല്ലാം ബ്രൗസറിൽ, ഉപകരണത്തിന്റെ സ്വന്തം പൊതു API വഴി വായിക്കുന്നു.

തരം	ഉപകരണങ്ങൾ
A/B-യും പരീക്ഷണങ്ങളും	Optimizely, VWO, AB Tasty, Kameleoon, Google Optimize പിൻഗാമികൾ, Convert
സവിശേഷതാ ഫ്ലാഗുകൾ	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

യഥാർത്ഥത്തിൽ നൽകിയവ മാത്രം

നിയമത്തിന്റെ ഏറ്റവും വ്യക്തമായ ഉദാഹരണം VWO ആണ്: ക്യാമ്പെയിൻ സ്വീകരിക്കുന്നത് അതിന്റെ നില ഇതായിരിക്കുമ്പോൾ മാത്രം RUNNING കൂടാതെ ഈ സന്ദർശകന് യഥാർത്ഥത്തിൽ ഒരു കോമ്പിനേഷൻ നൽകിയിരിക്കണം. നിർവചിച്ചിട്ടുള്ള ക്യാമ്പെയിൻ മാത്രം കാണുന്ന വ്യക്തിയെക്കുറിച്ച് ഒന്നും പറയില്ല; സെഷനിൽ എഴുതുന്നത് പിന്നീടുള്ള എല്ലാ ഫിൽട്ടറുകളെയും അസത്യമാക്കും.

ചില ഉത്തരങ്ങൾ വൈകി ലഭിക്കും

ConfigCat അസിങ്ക്രണസായി തീർപ്പാക്കുന്നു; Snowplow കോൾബാക്ക് വഴി മറുപടി നൽകുന്നു. മൂല്യങ്ങൾ ബഫറിൽ എത്തി കാത്തിരിക്കുന്നതിനുപകരം അടുത്ത തവണ സ്വീകരിക്കും - പതിപ്പിന്റെ പേര് അറിയാൻ പേജ് തടയുന്ന ബ്രിഡ്ജ് സ്വന്തം മൂല്യത്തെക്കാൾ ചെലവേറിയതാണ്.

3. പേജിനുള്ള ചെലവ്

അളക്കാവുന്ന ഒന്നുമില്ല. ഞങ്ങളുടെ നെറ്റ്‌വർക്ക് അഭ്യർത്ഥനയില്ല, അധിക സ്ക്രിപ്റ്റില്ല, ഓഫ് ആയിരിക്കുമ്പോൾ യാതൊരു ജോലിയുമില്ല.

ഇതിനകം ഉൾച്ചേർത്ത ഉപകരണം ഞങ്ങൾ വായിച്ചാലും ഇല്ലെങ്കിലും സ്വന്തം ജോലി ചെയ്യും. ചേർക്കുന്നത് ഏതാനും തവണ ഒരു വായനയാണ്; ഉത്തരം ലഭിക്കുന്നതുവരെ അല്ലെങ്കിൽ ഇരുപത് ശ്രമങ്ങൾ കഴിയുന്നതുവരെ.

എന്നെന്നേക്കുമായി അല്ല, ഇരുപത് എന്തുകൊണ്ട്

പരീക്ഷണ ഉപകരണങ്ങൾ പലപ്പോഴും ഞങ്ങൾക്കുശേഷം ലോഡ് ചെയ്യും. ഒറ്റ വായന ഏതാണ്ട് എല്ലാ നിയോഗങ്ങളും നഷ്ടപ്പെടുത്തും; അനന്തമായ അന്വേഷണം ലഭിക്കാത്ത മൂല്യത്തിനായി എല്ലാ പേജിലും ടൈമർ നിലനിർത്തും. അര സെക്കൻഡ് ഇടവേളയിൽ ഇരുപത് ശ്രമങ്ങളാണ് വിട്ടുവീഴ്ച; അതേ കാരണത്താൽ സമ്മതി അഡാപ്റ്ററുകളും അങ്ങനെ ചെയ്യുന്നു.

4. പ്രയോജനം ലഭിക്കുന്നിടം

• ആർക്കും കാരണം പറയാനാകാതെ മോശമായി പരീക്ഷിക്കപ്പെടുന്ന പതിപ്പ്. ആ പതിപ്പിലേക്ക് ഫിൽട്ടർ ചെയ്ത് രോഷക്ലിക്കനുസരിച്ച് ക്രമീകരിച്ച് മൂന്ന് സെഷനുകൾ കാണുക. കാരണം സാധാരണ ആദ്യത്തേതിൽത്തന്നെ കാണാം.
• ഉപയോക്താക്കളിൽ 5 % പേർക്ക് നൽകിയ ഫ്ലാഗ്. ആ അഞ്ച് ശതമാനമാണ് കാണേണ്ട സെഷനുകൾ; ഈ ബ്രിഡ്ജില്ലാതെ കണ്ടെത്താൻ വഴിയില്ല.
• വ്യത്യാസമില്ലാതെ തോന്നുന്ന പരീക്ഷണം. ചിലപ്പോൾ രണ്ട് പതിപ്പുകളും ഒരേ സ്ഥാനത്ത് ഒരുപോലെ മോശമാണ്; പരീക്ഷണ ഉപകരണത്തിന് അത് പറയാനാകില്ല - ആകെ കണക്കുകൾ മാത്രം താരതമ്യം ചെയ്യുന്നു.