Esperimenti e feature flag

1. La domanda a cui risponde

Lo strumento di sperimentazione indica che la variante B converte il 12 % in meno. Non spiega perché, né mostra una persona in difficoltà con essa.

Il connettore colma la lacuna nel modo più leggero: legge l’assegnazione della variante dallo strumento già in uso e la associa alla sessione MousePlayer. Da allora «mostri le sessioni che hanno visto B e fatto clic di rabbia» è un filtro, non un progetto di ricerca.

2. Gli strumenti e la regola comune

Sei strumenti A/B e cinque fornitori di feature flag, letti nel browser tramite le rispettive API pubbliche.

Tipo	Strumenti
A/B ed esperimenti	Optimizely, VWO, AB Tasty, Kameleoon, successori di Google Optimize, Convert
Feature flag	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Solo assegnazioni realmente avvenute

VWO è l’esempio più chiaro: prendiamo una campagna solo se lo stato è RUNNING e una combinazione è stata realmente assegnata al visitatore. Una campagna solo definita non dice nulla sulla persona; scriverla nella sessione falserebbe ogni filtro successivo.

Alcune risposte arrivano tardi

ConfigCat risponde asincronicamente, Snowplow via callback. I valori finiscono in un buffer e vengono recuperati al passaggio seguente senza aspettarli: bloccare la pagina per conoscere una variante costa già più di quanto valga il connettore.

3. Il costo per la pagina

Nulla di misurabile. Nessuna nostra richiesta di rete, nessuno script aggiuntivo e nessuna attività quando il connettore è spento.

Lo strumento integrato svolge il suo lavoro indipendentemente dalla nostra lettura. Aggiungiamo una lettura ripetuta poche volte, finché c’è una risposta o si raggiungono venti tentativi.

Perché venti e non all’infinito

Gli strumenti di sperimentazione caricano spesso dopo di noi. Una lettura perderebbe quasi tutte le assegnazioni; controllare all’infinito terrebbe attivo un timer su ogni pagina per un valore che non arriverà. Venti tentativi ogni mezzo secondo sono il compromesso, come negli adattatori di consenso e per lo stesso motivo.

4. Dove è utile

• Una variante rende peggio per motivi sconosciuti. Filtri quella variante, ordini per clic di rabbia e guardi tre sessioni. Il motivo è spesso visibile nella prima.
• Un feature flag attivato per il 5 % degli utenti. Quel cinque per cento corrisponde alle sessioni da guardare; senza il connettore non si possono trovare.
• Un test che sembra senza differenze. A volte entrambe le varianti funzionano altrettanto male nello stesso punto e lo strumento non può dirlo: confronta solo totali.