Experimenten en featureflags

1. De vraag die dit beantwoordt

Uw experimententool vertelt dat variant B 12 % slechter converteert. De tool vertelt niet waaromen kan ook niet één persoon laten zien die ermee worstelt.

Deze koppeling vult dat gat op met zo min mogelijk werk: ze leest de toegewezen variant uit de tool die u al gebruikt en voegt deze toe aan de MousePlayer-sessie. Vanaf dat moment is “toon sessies die variant B zagen en woedeklikken hadden” een filter in plaats van een onderzoeksproject.

2. De tools en hun gemeenschappelijke regel

Zes A/B-tools en vijf aanbieders van featureflags, allemaal uitgelezen in de browser via de openbare API van de tool zelf.

Soort	Tools
A/B en experimenten	Optimizely, VWO, AB Tasty, Kameleoon, opvolgers van Google Optimize, Convert
Featureflags	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Alleen toewijzingen die werkelijk plaatsvonden

VWO is het duidelijkste voorbeeld van de regel: we nemen een campagne alleen mee wanneer de status RUNNING is en er daadwerkelijk een combinatie aan deze bezoeker is toegewezen. Een campagne die alleen gedefinieerd is, zegt niets over de persoon op de pagina. Die aan de sessie toevoegen zou elk later filter onbetrouwbaar maken.

Sommige antwoorden komen later

ConfigCat levert waarden asynchroon; Snowplow antwoordt via een callback. De waarden komen in een buffer en worden bij de volgende ronde opgehaald, zonder erop te wachten. Een koppeling die de pagina blokkeert om een variantnaam te achterhalen, kost al meer dan ze waard is.

3. Wat het uw pagina kost

Niets meetbaars. Geen netwerkverzoeken van ons, geen extra script en helemaal geen werk wanneer de koppeling is uitgeschakeld.

De tool die u al insluit, doet zijn eigen werk, of wij er nu uit lezen of niet. Wat wij toevoegen is één leesactie, enkele keren herhaald, totdat de tool een antwoord heeft of er twintig pogingen zijn gedaan.

Waarom twintig pogingen en niet eindeloos

Experimententools laden vaak na ons. Eén leesactie zou bijna elke toewijzing missen; eindeloos controleren zou op elke pagina een timer actief houden voor een waarde die niet komt. Twintig pogingen met tussenpozen van een halve seconde zijn het compromis, hetzelfde als bij de toestemmingsadapters en om dezelfde reden.

4. Waar dit waarde oplevert

• Een variant die slechter presteert zonder dat iemand de reden kan noemen. Filter op die variant, sorteer op woedeklikken en bekijk drie sessies. De reden is meestal al in de eerste zichtbaar.
• Een featureflag die naar 5 % van de gebruikers is uitgerold. Die vijf procent zijn precies de sessies die u wilt bekijken, en zonder deze koppeling kunt u ze niet vinden.
• Een test die geen verschil lijkt te tonen. Soms zijn beide varianten op dezelfde plek even slecht, en dat kan de experimententool u niet vertellen: die vergelijkt alleen totalen.