Эксперименттер мен жалаушалар

1. Қай сұраққа жауап береді

Эксперимент құралыңыз B нұсқасының конверсиясы 12 % нашар екенін айтады. Бірақ негеекенін айтпайды және онымен қиналған бір адамды да көрсете алмайды.

Бұл байланыс ол олқылықты ең үнемді тәсілмен жояды: бұрыннан қолданатын құралыңыздан тағайындалған нұсқаны оқып, MousePlayer сеансына қосады. Одан кейін «B нұсқасын көріп, ашулы басқан сеанстарды көрсет» — зерттеу жобасы емес, сүзгі болады.

2. Құралдар және бәріне ортақ бір ереже

Алты A/B құралы мен бес жалауша жеткізушісі, бәрі браузерде құралдың өз ашық API-і арқылы оқылады.

Түрі	Құралдар
A/B және эксперименттер	Optimizely, VWO, AB Tasty, Kameleoon, Google Optimize мұрагерлері, Convert
Мүмкіндік жалаушалары	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Тек нақты жасалған тағайындаулар

VWO — ереженің ең анық мысалы: науқанды тек күйі мынадай болғанда аламыз: RUNNING және осы келушіге комбинация шынымен тағайындалғанда ғана. Жай анықталған науқан қарап отырған адам туралы ештеңе айтпайды. Оны сеансқа жазу кейінгі барлық сүзгіні жалған етер еді.

Кейбір жауаптар кеш келеді

ConfigCat асинхронды анықтайды, Snowplow кері шақырумен жауап береді. Олардың мәндері буферге түсіп, күтілмей, келесі өтуде алынады. Нұсқа атауын білу үшін бетті бұғаттайтын байланыс өз пайдасынан артық шығын келтіріп қойған болады.

3. Бетке қанша жүктеме түсіреді

Өлшенетін жүктеме жоқ. Бізден желілік сұрау да, қосымша скрипт те жоқ, ал байланыс өшірулі болса, мүлде жұмыс орындалмайды.

Бұрыннан ендірген құралыңыз біз оқысақ та, оқымасақ та өз жұмысын істейді. Біз қосатынымыз — құрал жауап бергенше немесе жиырма әрекет өткенше бірнеше рет оқу ғана.

Неге шексіз емес, жиырма

Эксперимент құралдары көбіне бізден кейін жүктеледі. Бір оқу барлық дерлік тағайындауды өткізіп алар еді; шексіз тексеру келмейтін мән үшін әр бетте таймерді тірі ұстайды. Жарты секунд аралықпен жиырма әрекет — ымыралы шешім, келісім адаптерлері де сол себеппен осыны қолданады.

4. Қай жерде пайдасы көрінеді

• Неге екенін ешкім айта алмайтын нашар нәтиже көрсеткен нұсқа. Сол нұсқаны сүзіп, ашулы басулар бойынша сұрыптап, үш сеансты көріңіз. Себебі әдетте біріншісінен көрінеді.
• Пайдаланушылардың 5 % бөлігіне қосылған жалауша. Дәл сол бес пайыздың сеанстарын көргіңіз келеді, ал бұл байланыссыз оларды табу мүмкін емес.
• Айырмашылықсыз көрінетін сынақ. Кейде екі нұсқа да бір жерде бірдей нашар, ал эксперимент құралы мұны айта алмайды, ол тек жиынтықтарды салыстырады.