Experimente și indicatori

1. Întrebarea la care răspunde

Instrumentul dvs. de experimente vă spune că varianta B are o rată de conversie cu 12 % mai mică. Nu vă spune de ce și nu vă poate arăta nici măcar o persoană care întâmpină dificultăți cu ea.

Această punte acoperă lipsa cât mai simplu: citește varianta atribuită din instrumentul pe care îl folosiți deja și o atașează sesiunii MousePlayer. Din acel moment, „arată-mi sesiunile care au văzut varianta B și au avut clicuri furioase” este un filtru, nu un proiect de cercetare.

2. Instrumentele și regula pe care o au în comun

Șase instrumente A/B și cinci furnizori de indicatori, toate citite în browser, toate prin API-ul public propriu al instrumentului.

Tip	Instrumente
A/B și experimente	Optimizely, VWO, AB Tasty, Kameleoon, succesorii Google Optimize, Convert
Indicatori de funcționalitate	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Doar atribuiri care au avut loc efectiv

VWO este cel mai clar exemplu al regulii: preluăm o campanie doar când starea sa este RUNNING și o combinație i-a fost atribuită efectiv acestui vizitator. O campanie care este doar definită nu vă spune nimic despre persoana care o vede, iar scrierea ei în sesiune ar falsifica toate filtrele ulterioare.

Unele răspunsuri sosesc târziu

ConfigCat rezolvă asincron; Snowplow răspunde prin callback. Valorile lor ajung într-un buffer și sunt preluate la următoarea trecere, în loc să fie așteptate — o punte care blochează pagina pentru a afla numele unei variante a costat deja mai mult decât merită.

3. Ce cost presupune pentru pagina dvs.

Nimic măsurabil. Nu facem nicio cerere de rețea, nu adăugăm niciun script, iar când puntea este dezactivată nu se execută nicio operație.

Instrumentul pe care îl integrați deja își face propria treabă indiferent dacă citim sau nu din el. Noi adăugăm o citire, repetată de câteva ori, până când instrumentul are un răspuns sau s-au epuizat cele douăzeci de încercări.

De ce douăzeci și nu la nesfârșit

Instrumentele de experimente se încarcă adesea după noi. O singură citire ar rata aproape toate atribuirile; verificarea fără sfârșit ar menține activ un temporizator pe fiecare pagină pentru o valoare care nu va apărea. Douăzeci de încercări la intervale de jumătate de secundă reprezintă compromisul, același pe care îl fac adaptoarele de consimțământ, din același motiv.

4. Unde își dovedește utilitatea

• O variantă cu rezultate mai slabe la test, dintr-un motiv pe care nimeni nu îl poate explica. Filtrați după acea variantă, sortați după clicurile furioase și vizionați trei sesiuni. Motivul este de obicei vizibil în prima.
• Un indicator activat pentru 5 % dintre utilizatori. Acele cinci procente reprezintă exact sesiunile pe care doriți să le vizionați, iar fără această punte nu aveți cum să le găsiți.
• Un test fără diferențe vizibile. Uneori ambele variante sunt la fel de slabe în același loc, iar instrumentul de experimente nu vă poate spune asta — compară doar totalurile.