Експерименти и прекинувачи

1. Прашањето на кое одговара

Алатката за експерименти кажува дека варијанта B конвертира 12 % полошо. Не кажува зоштои не може да ви покаже ниту едно лице што се мачи со неа.

Овој мост ја затвора празнината на најевтиниот можен начин: ја чита доделената варијанта од алатката што веќе ја користите и ја прикачува во сесијата на MousePlayer. Оттогаш „покажи ми сесии што ја виделе варијанта B и кликале од фрустрација“ е филтер, а не истражувачки проект.

2. Алатките и едното правило што го делат

Шест алатки за A/B и пет даватели на прекинувачи, сите се читаат во прелистувачот и сите преку јавниот API на самата алатка.

Вид	Алатки
A/B и експерименти	Optimizely, VWO, AB Tasty, Kameleoon, наследници на Google Optimize, Convert
Прекинувачи на функции	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Само доделувања што навистина се случиле

VWO е најјасниот пример за правилото: преземаме кампања само кога нејзиниот статус е RUNNING и комбинација навистина му е доделена на овој посетител. Кампања што е само дефинирана не кажува ништо за лицето што гледа и нејзиното запишување во сесијата би го направило секој подоцнежен филтер неточен.

Некои одговори пристигнуваат доцна

ConfigCat разрешува асинхроно; Snowplow одговара преку повратен повик. Нивните вредности завршуваат во бафер и се преземаат при следното поминување наместо да се чекаат - мост што ја блокира страницата за да дознае име на варијанта веќе чинел повеќе отколку што вреди.

3. Колку ја чини страницата

Ништо мерливо. Нема наше мрежно барање, дополнителна скрипта или каква било работа кога мостот е исклучен.

Алатката што веќе ја вградувате си ја врши работата без оглед дали читаме од неа. Додаваме едно читање, неколкупати, додека алатката нема одговор или не поминат дваесет обиди.

Зошто дваесет, а не бескрајно

Алатките за експерименти често се вчитуваат по нас. Едно читање би ги пропуштило речиси сите доделувања; бескрајна проверка би одржувала тајмер на секоја страница за вредност што нема да пристигне. Дваесет обиди во интервали од половина секунда е компромисот, истиот што го прават адаптерите за согласност од истата причина.

4. Каде ова се исплаќа

• Варијанта што тестира полошо од причина што никој не може да ја именува. Филтрирајте на таа варијанта, подредете според кликови од фрустрација, гледајте три сесии. Причината обично е видлива во првата.
• Прекинувач пуштен за 5 % од корисниците. Тие пет проценти се токму сесиите што сакате да ги гледате, а без овој мост нема начин да ги најдете.
• Тест што изгледа израмнет. Понекогаш двете варијанти се подеднакво лоши на истото место, а алатката за експерименти не може да ви го каже тоа - само ги споредува збировите.