Experiment och flaggor

1. Frågan som detta besvarar

Ditt experimentverktyg säger att variant B konverterar 12 % sämre. Det berättar inte varför och kan inte visa en enda person som har problem med varianten.

Bryggan fyller glappet så resurssnålt som möjligt: den läser varianttilldelningen från verktyget du redan använder och kopplar den till MousePlayer-sessionen. Därefter är ”visa sessioner som såg variant B och raseriklickade” ett filter, inget forskningsprojekt.

2. Verktygen och deras gemensamma regel

Sex A/B-verktyg och fem leverantörer av flaggor, alla avlästa i webbläsaren via verktygets eget offentliga API.

Typ	Verktyg
A/B och experiment	Optimizely, VWO, AB Tasty, Kameleoon, efterföljare till Google Optimize, Convert
Funktionsflaggor	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Bara tilldelningar som faktiskt har skett

VWO är det tydligaste exemplet: vi tar bara med en kampanj när statusen är RUNNING och en kombination faktiskt har tilldelats besökaren. En kampanj som bara är definierad säger inget om personen. Att skriva den till sessionen skulle göra varje senare filter missvisande.

Vissa svar kommer sent

ConfigCat svarar asynkront och Snowplow via callback. Värdena hamnar i en buffert och hämtas vid nästa kontroll i stället för att väntas in. En brygga som blockerar sidan för att få ett variantnamn har redan kostat mer än den är värd.

3. Vad det kostar sidan

Inget mätbart. Vi gör inget nätverksanrop, laddar inget extra skript och gör inget arbete alls när bryggan är avstängd.

Verktyget du redan bäddar in gör sitt arbete oavsett om vi läser från det. Vi lägger till en avläsning ett fåtal gånger tills verktyget har ett svar eller tjugo försök har gjorts.

Varför tjugo och inte för alltid

Experimentverktyg laddas ofta efter oss. En enda avläsning skulle missa nästan alla tilldelningar. Evig kontroll skulle hålla en timer igång på varje sida för ett värde som inte kommer. Tjugo försök med en halv sekunds mellanrum är avvägningen, samma som samtyckesadaptrarna gör av samma skäl.

4. Här gör det skillnad

• En variant som presterar sämre utan att någon vet varför. Filtrera på varianten, sortera efter raseriklick och se tre sessioner. Orsaken syns oftast redan i den första.
• En flagga som rullats ut till 5 % av användarna. De fem procenten är exakt de sessioner du vill se, och utan bryggan går det inte att hitta dem.
• Ett test utan tydlig skillnad. Ibland är båda varianterna lika dåliga på samma ställe. Experimentverktyget kan inte visa det eftersom det bara jämför totalsummor.