Experimenty a príznaky

1. Na akú otázku odpovedá

Váš experimentálny nástroj hovorí, že variant B konvertuje o 12 % horšie. Nehovorí, prečo, a nedokáže ukázať jediného človeka, ktorý s ním zápasí.

Tento most vypĺňa medzeru najlacnejším možným spôsobom: číta priradenie variantu z nástroja, ktorý už používate, a pripája ho k relácii MousePlayer. Od tej chvíle je „ukážte relácie, ktoré videli variant B a zúrivo klikali“ filtrom, nie výskumným projektom.

2. Nástroje a spoločné pravidlo

Šesť A/B nástrojov a päť poskytovateľov príznakov, všetky čítané v prehliadači cez vlastné verejné API nástroja.

Typ	Nástroje
A/B a experimenty	Optimizely, VWO, AB Tasty, Kameleoon, nástupcovia Google Optimize, Convert
Príznaky funkcií	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Iba priradenia, ktoré skutočne nastali

VWO je najjasnejší príklad pravidla: kampaň preberáme iba vtedy, keď má stav RUNNING a tomuto návštevníkovi bola skutočne priradená kombinácia. Kampaň, ktorá je len definovaná, nič nehovorí o danej osobe a jej zapísanie do relácie by skreslilo každý neskorší filter.

Niektoré odpovede prídu neskôr

ConfigCat rieši hodnoty asynchrónne; Snowplow odpovedá spätným volaním. Hodnoty sa uložia do vyrovnávacej pamäte a prevezmú sa pri ďalšom priechode namiesto čakania – most, ktorý blokuje stránku kvôli zisteniu názvu variantu, už stojí viac, než prináša.

3. Akú záťaž to znamená pre stránku

Žiadnu merateľnú. Žiadna naša sieťová požiadavka, žiadny ďalší skript a vôbec žiadna práca, keď je most vypnutý.

Nástroj, ktorý už máte vložený, robí svoju prácu bez ohľadu na to, či z neho čítame. Pridávame jedno čítanie niekoľkokrát, kým nástroj neodpovie alebo neuplynie dvadsať pokusov.

Prečo dvadsať a nie donekonečna

Experimentálne nástroje sa často načítavajú po nás. Jediné čítanie by minulo takmer každé priradenie; nekonečné zisťovanie by na každej stránke udržiavalo časovač pre hodnotu, ktorá nepríde. Dvadsať pokusov v polsekundových intervaloch je kompromis, rovnaký ako pri adaptéroch súhlasu z rovnakého dôvodu.

4. Kde prináša úžitok

• Variant s horšími výsledkami z dôvodu, ktorý nikto nevie pomenovať. Filtrujte tento variant, zoraďte podľa zúrivých kliknutí a pozrite si tri relácie. Dôvod je zvyčajne viditeľný už v prvej.
• Príznak zavedený pre 5 % používateľov. Týchto päť percent sú presne relácie, ktoré chcete sledovať, a bez tohto mosta ich nemožno nájsť.
• Test s nevýrazným výsledkom. Niekedy sú oba varianty na rovnakom mieste rovnako zlé a experimentálny nástroj vám to nepovie – porovnáva iba súčty.