Eksperimenter og flag

1. Spørgsmålet, der besvares

Dit eksperimentværktøj fortæller, at variant B konverterer 12 % dårligere. Det fortæller ikke hvorfor, og kan ikke vise dig en eneste person, der kæmper med den.

Denne bro lukker hullet så enkelt som muligt: den læser varianttildelingen fra det værktøj, du allerede bruger, og knytter den til MousePlayer-sessionen. Derefter er »vis sessioner, der så variant B og lavede raseriklik« et filter, ikke et forskningsprojekt.

2. Værktøjerne og deres fælles regel

Seks A/B-værktøjer og fem flagudbydere, alle læst i browseren via værktøjets eget offentlige API.

Type	Værktøjer
A/B og eksperimenter	Optimizely, VWO, AB Tasty, Kameleoon, efterfølgere til Google Optimize, Convert
Funktionsflag	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Kun faktiske tildelinger

VWO er det tydeligste eksempel på reglen: vi medtager kun en kampagne, når dens status er RUNNING og en kombination faktisk er tildelt denne besøgende. En kampagne, der kun er defineret, siger intet om den person, der ser siden, og at skrive den i sessionen ville gøre alle senere filtre misvisende.

Nogle svar kommer sent

ConfigCat svarer asynkront; Snowplow svarer via callback. Deres værdier gemmes i en buffer og hentes ved næste gennemløb i stedet for at blive afventet - en bro, der blokerer siden for at finde et variantnavn, har allerede kostet mere, end den er værd.

3. Hvad det koster din side

Intet målbart. Vi laver ingen netværksforespørgsler, indlæser intet ekstra script og udfører slet intet arbejde, når broen er deaktiveret.

Det værktøj, du allerede indlejrer, udfører sit eget arbejde, uanset om vi læser fra det. Vi tilføjer én læsning en håndfuld gange, indtil værktøjet har et svar, eller der er gået tyve forsøg.

Hvorfor tyve og ikke for evigt

Eksperimentværktøjer indlæses ofte efter os. En enkelt læsning ville overse næsten alle tildelinger; endeløse forespørgsler ville holde en timer i gang på hver side for en værdi, der ikke kommer. Tyve forsøg med et halvt sekunds mellemrum er kompromiset, det samme som samtykkeadapterne bruger af samme grund.

4. Hvor det giver værdi

• En variant, der klarer sig dårligere af en ukendt grund. Filtrer på varianten, sortér efter raseriklik, og se tre sessioner. Årsagen er normalt synlig i den første.
• Et flag udrullet til 5 % af brugerne. Disse fem procent er præcis de sessioner, du vil se, og uden denne bro er der ingen måde at finde dem på.
• En test uden tydelig forskel. Nogle gange er begge varianter lige dårlige samme sted, og det kan eksperimentværktøjet ikke fortælle dig - det sammenligner kun totaler.