Kokeet ja ominaisuusliput

1. Mihin tämä vastaa

Kokeilutyökalu kertoo version B konvertoivan 12 % huonommin. Se ei kerro miksi, eikä näytä yhtäkään sen kanssa kamppailevaa henkilöä.

Silta täyttää aukon mahdollisimman kevyesti: lukee version määrityksen jo käytössä olevasta työkalusta ja liittää sen MousePlayer-istuntoon. Sen jälkeen ”näytä version B nähneet ja raivoklikanneet istunnot” on suodatin eikä tutkimushanke.

2. Työkalut ja niiden yhteinen sääntö

Kuusi A/B-työkalua ja viisi ominaisuuslippujen tarjoajaa, kaikkia luetaan selaimessa työkalun omasta julkisesta API-rajapinnasta.

Tyyppi	Työkalut
A/B-testit ja kokeet	Optimizely, VWO, AB Tasty, Kameleoon, Google Optimizen seuraajat, Convert
Ominaisuusliput	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Vain todella tapahtuneet määritykset

VWO on säännön selkein esimerkki: otamme kampanjan mukaan vain, kun sen tila on RUNNING ja yhdistelmä on todella määrätty tälle kävijälle. Pelkkä kampanjan määrittely ei kerro katsovasta henkilöstä mitään, ja sen kirjoittaminen istuntoon vääristäisi kaikkia myöhempiä suodattimia.

Jotkin vastaukset saapuvat myöhään

ConfigCat ratkaisee asynkronisesti; Snowplow vastaa takaisinkutsulla. Arvot päätyvät puskuriin ja poimitaan seuraavalla kierroksella odottamisen sijaan — sivun version nimen vuoksi pysäyttävä silta maksaisi jo hyötyään enemmän.

3. Mitä tämä maksaa sivulle

Ei mitään mitattavaa. Emme tee verkkopyyntöä tai lisää skriptiä, eikä käytöstä poistettu silta tee mitään työtä.

Jo upotettu työkalu tekee oman työnsä riippumatta siitä, luemmeko siitä. Lisäämme yhden lukukerran muutamia kertoja, kunnes työkalulla on vastaus tai kaksikymmentä yritystä on kulunut.

Miksi kaksikymmentä eikä loputtomiin

Kokeilutyökalut latautuvat usein meidän jälkeemme. Yksi lukukerta ohittaisi lähes kaikki määritykset; loputon kysely pitäisi ajastimen elossa joka sivulla sellaisen arvon vuoksi, jota ei tule. Kaksikymmentä yritystä puolen sekunnin välein on kompromissi — sama kuin suostumussovittimissa, samasta syystä.

4. Missä tästä on hyötyä

• Versio, jonka heikommalle testitulokselle kukaan ei osaa nimetä syytä. Suodata kyseiseen versioon, lajittele raivoklikkausten mukaan ja katso kolme istuntoa. Syy näkyy yleensä jo ensimmäisessä.
• Ominaisuuslippu, joka on otettu käyttöön 5 %:n käyttäjäosuudelle. Juuri näiden viiden prosentin istuntoja halutaan katsoa, eikä niitä voi löytää ilman tätä siltaa.
• Testi, joka näyttää tasapeliltä. Joskus molemmat versiot ovat yhtä huonoja samassa kohdassa. Kokeilutyökalu ei kerro sitä — se vertaa vain kokonaislukuja.