Experiments i indicadors de funció

1. La pregunta que respon

L’eina d’experiments li diu que la variant B converteix un 12 % menys. No li diu per què, ni pot mostrar-li una sola persona que hi tingui dificultats.

Aquest pont cobreix aquest buit de la manera més econòmica possible: llegeix l’assignació de variant de l’eina que ja utilitza i l’adjunta a la sessió de MousePlayer. A partir d’aquí, «mostra’m sessions que han vist la variant B i han fet clics de ràbia» és un filtre, no un projecte de recerca.

2. Les eines i l’única regla que comparteixen

Sis eines d’A/B i cinc proveïdors d’indicadors de funció, tots llegits al navegador i tots mitjançant l’API pública de la mateixa eina.

Tipus	Eines
A/B i experiments	Optimizely, VWO, AB Tasty, Kameleoon, successors de Google Optimize, Convert
Indicadors de funció	LaunchDarkly, ConfigCat, Flagsmith, Split, Unleash

Només assignacions que realment s’han produït

VWO és l’exemple més clar de la regla: només prenem una campanya quan el seu estat és RUNNING i s’ha assignat realment una combinació a aquest visitant. Una campanya que només està definida no diu res de la persona que la veu, i escriure-la a la sessió falsejaria tots els filtres posteriors.

Algunes respostes arriben tard

ConfigCat resol de manera asíncrona; Snowplow respon per callback. Els seus valors arriben a un búfer i es recullen a la passada següent en lloc d’esperar-los: un pont que bloqueja la pàgina per saber el nom d’una variant ja ha costat més del que val.

3. Quin cost té per a la pàgina

Res de mesurable. No hi ha cap petició de xarxa nostra, cap script addicional ni cap feina quan el pont està desactivat.

L’eina que ja té integrada fa la seva feina tant si en llegim dades com si no. Hi afegim una lectura, unes quantes vegades, fins que l’eina té una resposta o s’han fet vint intents.

Per què vint i no indefinidament

Les eines d’experiments sovint es carreguen després de nosaltres. Una sola lectura passaria per alt gairebé totes les assignacions; una consulta indefinida mantindria un temporitzador actiu a cada pàgina per obtenir un valor que no arribarà. Vint intents a intervals de mig segon és el compromís, el mateix que fan els adaptadors de consentiment pel mateix motiu.

4. On demostra el seu valor

• Una variant que dona pitjors resultats per un motiu que ningú no sap explicar. Filtri per aquella variant, ordeni per clics de ràbia i miri tres sessions. El motiu acostuma a ser visible a la primera.
• Un indicador de funció desplegat al 5 % dels usuaris. Aquest cinc per cent correspon exactament a les sessions que vol mirar, i sense aquest pont no hi ha manera de trobar-les.
• Una prova que sembla no mostrar diferències. De vegades totes dues variants són igualment dolentes al mateix punt, i l’eina d’experiments no li ho pot dir: només compara totals.