Eksperimenter og flagg

1. Spørsmålet dette besvarer

Eksperimentverktøyet forteller at variant B konverterer 12 % dårligere. Det forteller ikke hvorfor, og kan ikke vise én eneste person som strever med den.

Denne broen tetter gapet på billigst mulig måte: den leser varianttilordningen fra verktøyet du allerede bruker, og knytter den til MousePlayer-økten. Deretter er «vis meg økter som så variant B og raseriklikket» et filter, ikke et forskningsprosjekt.

2. Verktøyene og regelen de deler

Seks A/B-verktøy og fem flaggleverandører, alle lest i nettleseren via verktøyets eget offentlige API.

Type	Verktøy
A/B og eksperimenter	Optimizely, VWO, AB Tasty, Kameleoon, etterfølgere til Google Optimize, Convert
Funksjonsflagg	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Bare tilordninger som faktisk skjedde

VWO er det tydeligste eksemplet: vi tar bare med en kampanje når statusen er RUNNING og en kombinasjon faktisk er tildelt denne besøkende. En kampanje som bare er definert, forteller ingenting om personen som ser den, og å skrive den på økten ville fått alle senere filtre til å lyve.

Noen svar kommer sent

ConfigCat svarer asynkront; Snowplow svarer via tilbakekall. Verdiene mellomlagres og hentes ved neste gjennomgang i stedet for at vi venter på dem — en bro som blokkerer siden for å finne et variantnavn, har allerede kostet mer enn den er verdt.

3. Hva det koster siden din

Ingenting målbart. Ingen nettverksforespørsel fra oss, intet ekstra skript og overhodet ikke noe arbeid når broen er slått av.

Verktøyet du allerede har bygd inn, gjør sitt arbeid enten vi leser fra det eller ikke. Vi legger til én lesing noen få ganger, til verktøyet har et svar eller tjue forsøk er gjort.

Hvorfor tjue og ikke for alltid

Eksperimentverktøy lastes ofte etter oss. Én lesing ville bommet på nesten alle tilordninger; uendelig spørring ville holdt et tidsur i gang på hver side for en verdi som aldri kommer. Tjue forsøk med et halvt sekunds mellomrom er avveiningen, den samme som samtykkeadapterne gjør av samme grunn.

4. Hvor dette gir verdi

• En variant som tester dårligere uten at noen kan forklare hvorfor. Filtrer til varianten, sorter etter raseriklikk og se tre økter. Grunnen er vanligvis synlig i den første.
• Et flagg rullet ut til 5 % av brukerne. De fem prosentene er nøyaktig øktene du vil se, og uten denne broen kan du ikke finne dem.
• En test uten synlig forskjell. Noen ganger er begge varianter like dårlige på samme sted, og eksperimentverktøyet kan ikke fortelle det — det sammenligner bare totaler.