Эксперыменты і сцягі
Які варыянт чалавек сапраўды бачыў? Мост піша адказ у сеанс, каб фільтраваць запісы паводле варыянту, а не гадаць.
1. На якое пытанне адказвае
Інструмент эксперыментаў кажа, што варыянт B канвертуецца на 12 % горш. Ён не кажа, чаму, і не паказвае ніводнага чалавека, які мае цяжкасці.
Мост танна закрывае прабел: чытае прызначаны варыянт з існага інструмента і далучае да сеанса MousePlayer. Цяпер «пакажыце сеансы з варыянтам B і раздражнёнымі клікамі» — фільтр, не даследчы праект.
У інструмент эксперыментаў нічога не адпраўляецца. Мы толькі чытаем ужо прынятае рашэнне. Незапушчаны эксперымент або наведвальнік без групы нічога не ствараюць — гэта правільна, не збой.
2. Інструменты і агульнае правіла
Шэсць A/B-інструментаў і пяць пастаўшчыкоў сцягоў — усе чытаюцца ў браўзеры праз іх уласны адкрыты API.
| Тып | Інструменты |
|---|---|
| A/B і эксперыменты | Optimizely, VWO, AB Tasty, Kameleoon, пераемнікі Google Optimize, Convert |
| Сцягі функцый | LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash |
Толькі сапраўдныя прызначэнні
VWO — самы выразны прыклад: кампанія бярэцца толькі са станам RUNNING і сапраўды прызначанай наведвальніку камбінацыяй. Проста вызначаная кампанія нічога пра яго не кажа, і запіс яе ў сеанс зрабіў бы пазнейшыя фільтры хлуслівымі.
Некаторыя адказы прыходзяць позна
ConfigCat працуе асінхронна; Snowplow адказвае праз callback. Значэнні буферызуюцца і забіраюцца пры наступным праходзе без чакання — блакаванне старонкі дзеля назвы варыянту каштавала б больш за карысць.
3. Кошт для старонкі
Нічога вымернага. Няма нашага сеткавага запыту, дадатковага скрыпту і любой працы пры выключаным мосце.
Убудаваны інструмент працуе незалежна ад чытання. Мы дадаём толькі адно чытанне некалькі разоў да адказу або дваццатай спробы.
Чаму дваццаць, а не вечна
Інструменты эксперыментаў часта загружаюцца пазней. Адна спроба прапусціць амаль усе прызначэнні; бясконцае апытанне трымала б таймер на кожнай старонцы для значэння, якога не будзе. Дваццаць спроб праз паўсекунды — кампраміс, як у адаптараў згоды з той жа прычыны.
4. Дзе гэта карысна
- Варыянт горшы, але ніхто не ведае чаму. Адфільтруйце яго, упарадкуйце паводле раздражнёных клікаў і паглядзіце тры сеансы. Звычайна прычына бачная ў першым.
- Сцяг, уключаны для 5 % карыстальнікаў. Менавіта гэтыя пяць працэнтаў трэба паглядзець, а без моста іх не знайсці.
- Тэст без выразнага выніку. Часам абодва варыянты аднолькава дрэнныя ў тым жа месцы, а інструмент толькі параўноўвае вынікі і не скажа пра гэта.
Варыянт — звычайны атрыбут сеанса, таму трапляе і ў іншыя масты: нататку CRM, экспарт у сховішча і інструменты MCP.
Усе згаданыя таварныя знакі належаць адпаведным уладальнікам. MousePlayer не мае дзелавых адносін з гэтымі пастаўшчыкамі.