Katsed ja funktsioonilipud

1. Küsimus, millele see vastab

Teie katsetööriist ütleb, et variandi B konversioonimäär on 12 % halvem. See ei ütle, miks, ega saa näidata ühtki inimest, kes selle kasutamisega hätta jääb.

Sild täidab selle lünga võimalikult väikese kuluga: loeb teie juba kasutatavast tööriistast määratud variandi ja lisab selle MousePlayeri seansile. Seejärel on „näita seansse, kus nähti varianti B ja tehti raevuklõpse“ filter, mitte uurimisprojekt.

2. Tööriistad ja nende ühine reegel

Kuus A/B-testimise tööriista ja viis funktsioonilippude pakkujat. Kõiki loetakse brauseris nende enda avaliku API kaudu.

Liik	Tööriistad
A/B-testid ja katsed	Optimizely, VWO, AB Tasty, Kameleoon, Google Optimize’i järglased, Convert
Funktsioonilipud	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Ainult tegelikult tehtud määramised

VWO näitab reeglit kõige selgemalt: võtame kampaania arvesse ainult siis, kui selle olek on RUNNING ja sellele külastajale on kombinatsioon päriselt määratud. Pelgalt defineeritud kampaania ei ütle vaataja kohta midagi ning selle lisamine seansile muudaks kõik hilisemad filtrid eksitavaks.

Mõned vastused saabuvad hiljem

ConfigCat lahendab väärtuse asünkroonselt, Snowplow vastab tagasikutsega. Nende väärtused jõuavad puhvrisse ja loetakse järgmisel läbimisel, selle asemel et neid ootama jääda. Sild, mis blokeerib lehe variandi nime teadasaamiseks, on juba kulukam, kui ta väärt on.

3. Mida see teie lehele maksab

Mitte midagi mõõdetavat. Me ei tee võrgupäringuid, lisa skripti ega tee üldse tööd, kui sild on välja lülitatud.

Teie juba paigaldatud tööriist teeb oma tööd olenemata sellest, kas me seda loeme. Meie lisame ühe lugemise mõnel korral, kuni tööriist vastab või kakskümmend katset saab täis.

Miks kakskümmend, mitte lõputult

Katsetööriistad laaditakse sageli pärast meid. Ühekordne lugemine jätaks peaaegu kõik määramised tabamata; lõputu kontroll hoiaks igal lehel taimerit töös väärtuse jaoks, mida ei tule. Kompromiss on kakskümmend katset poole sekundi tagant – sama mis nõusolekuadapteritel ja samal põhjusel.

4. Kus sellest kasu on

• Variant, mille testitulemus on halvem põhjusel, mida keegi ei oska nimetada. Filtreerige selle variandi järgi, sortige raevuklõpsude arvu alusel ja vaadake kolme seanssi. Põhjus on tavaliselt nähtav juba esimeses.
• Funktsioonilipp, mis on sisse lülitatud 5 %-le kasutajatest. Just neid viit protsenti esindavaid seansse soovitegi vaadata ning ilma selle sillata pole neid võimalik leida.
• Test, mis ei näita erinevust. Mõnikord on mõlemad variandid samas kohas võrdselt halvad ning katsetööriist ei saa seda öelda: see võrdleb ainult koondtulemusi.