Експерименти и флагове

Кой вариант действително е видял този човек? Мостът записва отговора в сесията, за да можете да филтрирате записите по вариант, вместо да гадаете.

1. Въпросът, на който отговаря

Инструментът ви за експерименти казва, че вариант Б има с 12 % по-ниска реализация. Не ви казва защо и не може да ви покаже нито един човек, който се затруднява с него.

Този мост запълва празнината по възможно най-икономичния начин: прочита присвоения вариант от инструмента, който вече използвате, и го добавя към сесията на MousePlayer. Оттам нататък „покажи сесии, които са видели вариант Б и са имали яростни кликвания“ е филтър, а не изследователски проект.

Нищо не се изпраща към инструмента за експерименти. Само прочитаме това, което вече е решил. Експеримент, който никога не е проведен, или посетител, който никога не е разпределен в група, не произвежда нищо — и това е правилният резултат, не неуспех.

2. Инструментите и общото им правило

Шест A/B инструмента и пет доставчика на флагове, всички прочитани в браузъра чрез собствения публичен API на инструмента.

ВидИнструменти
A/B и експериментиOptimizely, VWO, AB Tasty, Kameleoon, наследници на Google Optimize, Convert
Флагове за функцииLaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Само действително направени присвоявания

VWO е най-ясният пример за правилото: вземаме кампания само когато състоянието ѝ е RUNNING и действително е присвоена комбинация на този посетител. Само дефинирана кампания не казва нищо за гледащия човек и записването ѝ в сесията би направило всеки последващ филтър неверен.

Някои отговори пристигат късно

ConfigCat отговаря асинхронно; Snowplow — чрез обратно извикване. Стойностите им попадат в буфер и се вземат при следващото преминаване, вместо да се изчакват — мост, който блокира страницата, за да научи име на вариант, вече е струвал повече, отколкото си заслужава.

3. Какво струва на страницата ви

Нищо измеримо. Няма наша мрежова заявка, няма допълнителен скрипт и няма никаква работа, когато мостът е изключен.

Инструментът, който вече вграждате, си върши работата независимо дали четем от него. Добавяме едно прочитане няколко пъти, докато инструментът има отговор или минат двадесет опита.

Защо двадесет, а не вечно

Инструментите за експерименти често се зареждат след нас. Едно прочитане би пропуснало почти всяко присвояване; безкрайна проверка би поддържала таймер на всяка страница заради стойност, която няма да дойде. Двадесет опита през половин секунда е компромисът — същият като при адаптерите за съгласие, по същата причина.

4. Къде е най-полезно

  • Вариант с по-лош резултат по причина, която никой не може да назове. Филтрирайте по този вариант, подредете по яростни кликвания и гледайте три сесии. Причината обикновено се вижда в първата.
  • Флаг, пуснат за 5 % от потребителите. Тези пет процента са точно сесиите, които искате да гледате, и без този мост няма начин да ги намерите.
  • Тест без видима разлика. Понякога и двата варианта са еднакво лоши на едно и също място и инструментът за експерименти не може да ви го каже — сравнява само общите стойности.

Вариантът се записва като обикновен атрибут на сесията, затова преминава и във всеки друг мост: CRM бележката, експортирането към хранилището за данни и MCP инструментите ви го виждат.

Всички споменати тук търговски марки принадлежат на съответните им собственици. MousePlayer няма търговски отношения с тези доставчици.