Eksperimente en vlae

Watter variant het hierdie persoon werklik gesien? Die brug skryf die antwoord op die sessie, sodat u opnames volgens variant kan filtreer eerder as raai.

1. Die vraag wat dit beantwoord

U eksperimentehulpmiddel sê variant B skakel 12 % swakker om. Dit sê nie waaromnie en kan nie een persoon wys wat daarmee sukkel nie.

Hierdie brug vul die gaping so goedkoop moontlik: dit lees die varianttoewysing uit die hulpmiddel wat u reeds gebruik en heg dit aan die MousePlayer-sessie. Daarna is “wys sessies wat variant B gesien en woedeklikke gemaak het” 'n filter, nie 'n navorsingsprojek nie.

Niks word na die eksperimentehulpmiddel gestuur nie. Ons lees net wat dit reeds besluit het. 'n Eksperiment wat nooit geloop het nie of 'n besoeker wat nooit toegewys is nie, lewer niks — die korrekte uitkoms, nie 'n mislukking nie.

2. Die hulpmiddels en hul gedeelde reël

Ses A/B-hulpmiddels en vyf vlagverskaffers, almal in die blaaier gelees deur hul eie openbare API.

SoortHulpmiddels
A/B en eksperimenteOptimizely, VWO, AB Tasty, Kameleoon, Google Optimize-opvolgers, Convert
FunksievlaeLaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Net toewysings wat werklik gebeur het

VWO is die duidelikste voorbeeld: ons gebruik 'n veldtog slegs wanneer sy status is RUNNING en 'n kombinasie werklik aan hierdie besoeker toegewys is. 'n Veldtog wat net gedefinieer is, sê niks oor die kyker nie; om dit op die sessie te skryf, sou elke latere filter laat lieg.

Party antwoorde kom laat

ConfigCat handel asinchronies af; Snowplow antwoord deur terugroep. Hul waardes beland in 'n buffer en word by die volgende rondte opgetel eerder as om daarvoor te wag — 'n brug wat die bladsy vir 'n variantnaam blokkeer, het reeds meer gekos as wat dit werd is.

3. Wat dit u bladsy kos

Niks meetbaars nie. Geen netwerkversoek van ons, geen ekstra skrip en glad geen werk wanneer die brug af is nie.

Die ingebedde hulpmiddel doen sy eie werk ongeag of ons lees. Ons voeg net 'n paar leesaksies by totdat die hulpmiddel antwoord of twintig pogings verby is.

Waarom twintig en nie vir altyd nie

Eksperimentehulpmiddels laai dikwels ná ons. Een leesaksie sou byna elke toewysing mis; eindelose navrae sou 'n tydskakelaar op elke bladsy laat loop vir 'n waarde wat nooit kom nie. Twintig pogings met halfsekonde-tussenposes is die kompromis — dieselfde as die toestemmingsadapters om dieselfde rede.

4. Waar dit sy waarde bewys

  • 'n Variant toets swakker om 'n onbekende rede. Filtreer tot daardie variant, sorteer volgens woedeklikke en kyk drie sessies. Die rede is gewoonlik in die eerste sigbaar.
  • 'n Vlag wat aan 5 % van gebruikers vrygestel is. Dié vyf persent is presies die sessies wat u wil kyk; sonder die brug is daar geen manier om hulle te vind nie.
  • 'n Toets wat geen verskil toon nie. Soms is albei variante op dieselfde plek ewe swak en die eksperimentehulpmiddel kan dit nie sê nie — dit vergelyk net totale.

Die variant beland as gewone sessieattribuut en gaan dus ook na elke ander brug: u CRM-nota, datapakhuisuitvoer en MCP-hulpmiddels sien dit almal.

Alle handelsmerke wat hier genoem word, behoort aan hul onderskeie eienaars. MousePlayer het geen sakeverhouding met hierdie verskaffers nie.