Eksperimentai ir vėliavėlės

1. Į kokį klausimą atsakoma

Eksperimentų įrankis nurodo, kad B varianto konversijų rodiklis 12 % blogesnis. Jis nepasako, kodėl, ir neparodo nė vieno su juo sunkumų patiriančio asmens.

Šis tiltas užpildo spragą kuo mažesnėmis sąnaudomis: nuskaito varianto priskyrimą iš jau naudojamo įrankio ir prideda prie MousePlayer seanso. Nuo tada „parodykite seansus, kuriuose matytas B variantas ir įnirtingai spaudyta“ yra filtras, o ne tyrimo projektas.

2. Įrankiai ir bendra jų taisyklė

Šeši A/B įrankiai ir penki vėliavėlių teikėjai; viskas nuskaitoma naršyklėje per paties įrankio viešą API.

Tipas	Įrankiai
A/B ir eksperimentai	Optimizely, VWO, AB Tasty, Kameleoon, Google Optimize įpėdiniai, Convert
Funkcijų vėliavėlės	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Tik iš tikrųjų įvykę priskyrimai

VWO aiškiausiai iliustruoja taisyklę: imamės kampanijos tik kai jos būsena yra RUNNING ir šiam lankytojui iš tikrųjų priskirtas derinys. Vien apibrėžta kampanija nieko nepasako apie žiūrintį asmenį; ją įrašius į seansą, visi vėlesni filtrai meluotų.

Kai kurie atsakymai vėluoja

ConfigCat atsako asinchroniškai; Snowplow – per atgalinį iškvietimą. Reikšmės patenka į buferį ir paimamos per kitą ciklą, o ne jų laukiama: variantui sužinoti puslapį blokuojantis tiltas jau kainuotų daugiau, nei yra vertas.

3. Kiek tai kainuoja jūsų puslapiui

Nieko išmatuojamo. Nėra mūsų tinklo užklausos, papildomo scenarijaus ar jokio darbo, kai tiltas išjungtas.

Jau įterptas įrankis dirba nepriklausomai nuo to, ar iš jo skaitome. Pridedame vieną skaitymą kelis kartus, kol įrankis turi atsakymą arba praeina dvidešimt bandymų.

Kodėl dvidešimt, o ne be galo

Eksperimentų įrankiai dažnai įkeliami po mūsų. Vienas skaitymas praleistų beveik visus priskyrimus; begalinis tikrinimas kiekviename puslapyje palaikytų laikmatį dėl reikšmės, kurios nebus. Kompromisas – dvidešimt bandymų kas pusę sekundės; toks pat kaip sutikimo adapteriuose dėl tos pačios priežasties.

4. Kur tai atsiperka

• Variantas su blogesniu rezultatu dėl neįvardytos priežasties. Filtruokite pagal jį, rikiuokite pagal įnirtingus paspaudimus ir peržiūrėkite tris seansus. Priežastis paprastai matoma jau pirmajame.
• Vėliavėlė įjungta 5 % naudotojų. Būtent tuos penkis procentus seansų norite žiūrėti; be šio tilto nėra kaip jų rasti.
• Bandymas, kuriame nematyti skirtumo. Kartais abu variantai vienodai blogi toje pačioje vietoje, ir eksperimentų įrankis to nepasako: tik lygina sumas.