Eksperymenty i flagi

1. Na jakie pytanie to odpowiada

Twoje narzędzie do eksperymentów mówi, że wersja B konwertuje o 12 % gorzej. Nie mówi dlaczego i nie pokaże Ci ani jednej osoby, która się na niej potyka.

Ten mostek zamyka tę lukę najtańszym możliwym sposobem: odczytuje przypisanie wersji z narzędzia, które i tak prowadzisz, i dołącza je do sesji MousePlayera. Od tej chwili „pokaż sesje, które widziały wersję B i klikały ze złości" to filtr, a nie projekt badawczy.

2. Narzędzia i jedna wspólna zasada

Sześć narzędzi A/B i pięciu dostawców flag, wszystkie odczytywane w przeglądarce, wszystkie przez publiczne API danego narzędzia.

Rodzaj	Narzędzia
A/B i eksperymenty	Optimizely, VWO, AB Tasty, Kameleoon, następcy Google Optimize, Convert
Feature flagi	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Tylko przypisania, które naprawdę nastąpiły

VWO to najwyraźniejszy przykład tej zasady: kampanię bierzemy tylko wtedy, gdy jej status to RUNNING oraz temu odwiedzającemu faktycznie przypisano kombinację. Sama zdefiniowana kampania nic nie mówi o osobie, która właśnie ogląda - zapisanie jej przy sesji uczyniłoby każdy późniejszy filtr kłamstwem.

Niektóre odpowiedzi przychodzą późno

ConfigCat odpowiada asynchronicznie, Snowplow przez wywołanie zwrotne. Ich wartości trafiają do bufora i są odbierane przy następnym przebiegu, zamiast czekania na nie - mostek, który zatrzymuje stronę, żeby poznać nazwę wersji, kosztował już więcej, niż jest wart.

3. Ile kosztuje Twoją stronę

Nic mierzalnego. Nie ma naszego żądania sieciowego, nie ma dodatkowego skryptu, a przy wyłączonym mostku nie ma w ogóle żadnej pracy.

Narzędzie, które i tak osadzasz, wykonuje swoją pracę niezależnie od tego, czy z niego czytamy. Dokładamy jeden odczyt, powtórzony kilka razy, aż narzędzie będzie miało odpowiedź albo minie dwadzieścia prób.

Dlaczego dwadzieścia, a nie bez końca

Narzędzia eksperymentów często ładują się po nas. Pojedynczy odczyt przegapiłby niemal każde przypisanie; nieskończony takt utrzymywałby na każdej stronie działający licznik dla wartości, która już nie nadejdzie. Dwadzieścia prób co pół sekundy to kompromis - ten sam, który z tego samego powodu przyjmują adaptery zgody.

4. Gdzie to się zwraca

• Wersja, która wypada gorzej z powodu, którego nikt nie potrafi nazwać. Odfiltruj tę wersję, posortuj po kliknięciach ze złości, obejrzyj trzy sesje. Powód zwykle widać już w pierwszej.
• Flaga wdrożona u 5 % użytkowników. Właśnie te pięć procent chcesz obejrzeć - a bez tego mostka nie ma sposobu, żeby je znaleźć.
• Test, który wygląda płasko. Czasem obie wersje są tak samo złe w tym samym miejscu, a narzędzie eksperymentów tego nie powie - porównuje tylko sumy.