Експерименти та прапорці функцій

1. На яке питання це відповідає

Ваш інструмент експериментів повідомляє, що варіант B дає на 12 % нижчу конверсію. Він не пояснює, чому, і не може показати жодної людини, яка з ним має труднощі.

Цей міст заповнює прогалину з мінімальними витратами: зчитує призначений варіант з інструмента, який ви вже використовуєте, й додає його до сеансу MousePlayer. Відтепер «покажіть сеанси, де бачили варіант B і гнівно клікали» — це фільтр, а не дослідницький проєкт.

2. Інструменти й спільне для них правило

Шість інструментів A/B і п’ять постачальників прапорців функцій. Усі зчитуються в браузері через власний публічний API інструмента.

Тип	Інструменти
A/B та експерименти	Optimizely, VWO, AB Tasty, Kameleoon, наступники Google Optimize, Convert
Прапорці функцій	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Лише призначення, які справді відбулися

VWO — найочевидніший приклад правила: ми беремо кампанію лише тоді, коли її статус RUNNING і цьому відвідувачеві справді призначено комбінацію. Лише визначена кампанія нічого не говорить про людину, яка переглядає сторінку, і запис її в сеанс зробив би кожен подальший фільтр хибним.

Деякі відповіді надходять пізніше

ConfigCat визначає значення асинхронно; Snowplow відповідає через зворотний виклик. Їхні значення потрапляють у буфер і підхоплюються наступного проходу без очікування: міст, який блокує сторінку заради назви варіанта, уже коштує більше, ніж вартий.

3. Чого це коштує вашій сторінці

Нічого вимірюваного. Ми не робимо мережевих запитів, немає додаткового скрипту, а коли міст вимкнено, жодна робота взагалі не виконується.

Інструмент, який ви вже вбудували, працює незалежно від того, чи ми зчитуємо дані. Ми додаємо лише одне зчитування кілька разів — доки інструмент не дасть відповіді або не мине двадцять спроб.

Чому двадцять, а не нескінченно

Інструменти експериментів часто завантажуються після нас. Одне зчитування пропустило б майже всі призначення, а нескінченна перевірка тримала б таймер на кожній сторінці заради значення, яке не з’явиться. Компроміс — двадцять спроб з інтервалом пів секунди, такий самий, як в адаптерах згоди, з тієї самої причини.

4. Де це виправдовує себе

• Варіант, який дає гірший результат із незрозумілої причини. Відфільтруйте цей варіант, відсортуйте за гнівними кліками, перегляньте три сеанси. Причина зазвичай помітна вже в першому.
• Прапорець функції, увімкнений для 5 % користувачів. Саме ці п’ять відсотків — сеанси, які ви хочете переглянути, і без цього моста знайти їх неможливо.
• Тест без помітної різниці. Іноді обидва варіанти однаково погані в одному місці, а інструмент експериментів не може цього пояснити — він порівнює лише підсумки.